[論文レビュー] FaceShop: Deep Sketch-based Face Image Editing

Tiziano Portenier, Qiyang Hu+4 more|arXiv (Cornell University)|Apr 24, 2018

Face recognition and analysis参考文献 21被引用数 24

ひとこと要約

FaceShopは、幾何学的形状と色彩のためのユーザーが描いたスティック入力またはエクemplar画像からのスマートなコピー・ペーストを用いて、直感的でインタラクティブな編集が可能なリアルタイムでスケッチベースの顔画像編集システムを導入する。本手法は、独自のスケッチドメインと、画像補完と翻訳の両タスクにエンド・ツー・エンドで訓練されたCNNを採用しており、後処理を要せず、高品質で意味的に整合性のある結果を達成している。

ABSTRACT

We present a novel system for sketch-based face image editing, enabling users to edit images intuitively by sketching a few strokes on a region of interest. Our interface features tools to express a desired image manipulation by providing both geometry and color constraints as user-drawn strokes. As an alternative to the direct user input, our proposed system naturally supports a copy-paste mode, which allows users to edit a given image region by using parts of another exemplar image without the need of hand-drawn sketching at all. The proposed interface runs in real-time and facilitates an interactive and iterative workflow to quickly express the intended edits. Our system is based on a novel sketch domain and a convolutional neural network trained end-to-end to automatically learn to render image regions corresponding to the input strokes. To achieve high quality and semantically consistent results we train our neural network on two simultaneous tasks, namely image completion and image translation. To the best of our knowledge, we are the first to combine these two tasks in a unified framework for interactive image editing. Our results show that the proposed sketch domain, network architecture, and training procedure generalize well to real user input and enable high quality synthesis results without additional post-processing.

研究の動機と目的

• 非エキスパートユーザーによる局所的顔画像編集のための直感的なツールの不足に応えること。
• 形状と色彩のための単純なユーザーが描いたスティック入力による、細かい制御を可能にすること。
• 手動での描画を要しない、スケッチベースの編集とエクEMPLAR画像からのスマートなコピー・ペーストを両方サポートすること。
• 実際のユーザー入力にうまく一般化し、アーチファクトのない高解像度の結果を生成できる深層学習フレームワークを開発すること。
• 画像補完と画像翻訳を1つのエンド・ツー・エンドの訓練フレームワークで統合し、整合性と品質を向上させること。

提案手法

• 本システムは、ユーザーが描いた幾何学的形状と色彩の制約を入力としてエンコードする、独自のスケッチドメインを採用している。
• 畳み込みニューラルネットワークを、画像補完と画像翻訳の2つの同時タスクにエンド・ツー・エンドで訓練している。
• 生成ネットワークは、入力スケッチと周囲のコンテキストに基づいて画像領域を合成するが、識別ネットワークは現実性と整合性を保証する。
• 訓練データは、CelebAデータセットの実際の顔画像にスケッチストロークと色のオーバーレイをシミュレートすることで自動的に構築されている。
• インターフェースはリアルタイムの相互作用と反復的編集をサポートしており、強力なブレンドを実現するスマートなコピー・ペーストモードを備えている。
• 損失関数は構造的詳細の保持と意味的整合性を最適化し、アーチファクトの低減とテクスチャ品質の向上を図っている。

実験結果

リサーチクエスチョン

• RQ1 最小限のユーザー入力で実現可能なスケッチベースインターフェースは、直感的かつ正確な局所的顔画像編集を可能にするか？
• RQ2 画像補完と画像翻訳を同時に訓練することで、局所的編集における意味的整合性と現実性をどのように向上させられるか？
• RQ3 深層学習モデルは、ラベル付きデータや事前知識を必要とせず、実際の不完全なユーザーのスケッチに対してもうまく一般化できるか？
• RQ4 本手法は、アーチファクト低減と詳細の保持の観点から、既存の「翻訳で編集する」アプローチと比べてどの程度優れているか？
• RQ5 本手法は、ヘアスタイルの変更や整合性のないレイアウト提案といった複雑な編集をどの程度処理できるか？

主な発見

• 提案手法は、最小限のユーザー入力で高品質で現実的な顔画像編集結果を達成しており、明確なテクスチャと少ないアーチファクトを実現している。
• 画像補完と画像翻訳を統合して同時に訓練することで、単独の画像翻訳や「翻訳で編集する」パイプラインよりも、より整合性があり詳細な結果が得られている。
• スマートなコピー・ペーストモードは、照明、テクスチャ、ポーズの変化に対しても、顔の部品を画像間で効果的に転送できている。
• 本システムは、ある程度の高解像度に一般化できているが、訓練スケールを大幅に超えると性能が著しく低下する。
• 失敗事例には、意味的に整合性のないレイアウト（例：目の位置が額にある）や、完全なヘアスタイルの変更が含まれる。これは、訓練データに同様のパターンが存在しないためである。
• pix2pixなどのベースライン手法に比べ、特に局所的編集のシナリオにおいて、テクスチャの詳細とアーチファクトの低減の点で優れている。