[論文レビュー] MichiGAN: Multi-Input-Conditioned Hair Image Generation for Portrait Editing

Zhentao Tan, Menglei Chai+6 more|arXiv (Cornell University)|Oct 30, 2020

Generative Adversarial Networks and Image Synthesis参考文献 67被引用数 11

ひとこと要約

MichiGANは、顔貌のインタラクティブなヘア編集のためのマルチインプット条件付きGANを導入し、ヘアを形状、構造、外見、背景という4つの直交的属性に分離し、それぞれを専用の条件モジュールで制御する。空間的に変化するマスク、方向性マップ、外見符号化ネットワーク、マスク対応の背景エンコーダーを統合することで、スケッチ、マスク、参照画像などの直感的な入力からの高精細で制御可能なヘア生成を実現し、最先端の手法に比べ優れた画像品質とユーザー制御性を達成した。

ABSTRACT

Despite the recent success of face image generation with GANs, conditional hair editing remains challenging due to the under-explored complexity of its geometry and appearance. In this paper, we present MichiGAN (Multi-Input-Conditioned Hair Image GAN), a novel conditional image generation method for interactive portrait hair manipulation. To provide user control over every major hair visual factor, we explicitly disentangle hair into four orthogonal attributes, including shape, structure, appearance, and background. For each of them, we design a corresponding condition module to represent, process, and convert user inputs, and modulate the image generation pipeline in ways that respect the natures of different visual attributes. All these condition modules are integrated with the backbone generator to form the final end-to-end network, which allows fully-conditioned hair generation from multiple user inputs. Upon it, we also build an interactive portrait hair editing system that enables straightforward manipulation of hair by projecting intuitive and high-level user inputs such as painted masks, guiding strokes, or reference photos to well-defined condition representations. Through extensive experiments and evaluations, we demonstrate the superiority of our method regarding both result quality and user controllability. The code is available at https://github.com/tzt101/MichiGAN.

研究の動機と目的

• 顔貌編集における条件付きで制御可能なヘア画像生成の課題に取り組むこと。ヘアの複雑な幾何学的形状と外見が、正確な操作を困難にしている。
• ヘアを形状、構造、外見、背景という4つの直交的視覚的属性に分離し、個別に正確なユーザー制御を可能にする。
• 各ヘア属性の知覚的・空間的特性に適合した条件モジュールを設計し、エンド・ツー・エンドで完全に条件づけられた生成を実現する。
• 直感的なユーザー入力（例：塗りつぶされたマスク、スティック、参照画像）を、明確で意味的な条件表現にマッピングするインタラクティブなシステムを構築する。
• 背景干渉を最小限に抑え、元の背景コンテンツを保持したまま、写真のようにリアルなヘア生成と滑らかな融合を実現する。

提案手法

• ヘアを4つの直交的属性に分離する：形状（曖昧なセマンティックマスク）、構造（重み付き方向性マップ）、外見（マスク変換による特徴抽出）、背景（マスク対応融合を伴う並列エンコーダー）。
• 空間的に変化する形状および構造条件に基づいて特徴マップを調整するための条件付き正規化層（例：AdaIN）を用いる。
• 任意の参照画像から外見スタイルを生成器の潜在空間に統合するためのマスク変換特徴抽出ネットワークを導入する。
• マスクガイドドのアテンションを用いて、段階的に背景特徴を生成器に統合する並列背景エンコーダーを実装し、元の背景コンテンツを保持する。
• 合成データ増強（例：マスクのランダムな膨張・収縮）を用いたデータパイプラインを設計し、訓練中に形状の変動に強い耐性を向上させる。
• 訓練の安定化と生成品質の向上のため、敵対的損失、知覚的損失、サイクル整合性損失の組み合わせを採用する。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANモデルは、顔貌画像におけるヘア生成に対して、分離可能で多属性の制御を達成できるか？
• RQ2 形状、構造、外見、背景を統合されたGANフレームワーク内で、どのように効果的にモデリングおよび条件づけることができるか？
• RQ3 塗りつぶされたマスク、スティック、参照画像といった直感的なユーザー入力が、視覚的一致性を保つ意味的な条件表現にマッピング可能か？
• RQ4 マスクガイドドの背景統合は、ナチュラルな特徴ブレンドベースラインに比べ、元の背景コンテンツの保持において優れているか？
• RQ5 境界マスキングやポーズ適応なしに、明示的に境界を定義しない状態でも、多様なヘア形状や外見に一般化できるか？

主な発見

• MichiGANは、野生の顔貌データセットにおける定量的評価でFIDスコアが低く、最先端の手法に比べ優れた画像品質を達成した。
• 提案されたマスクガイドドの背景統合モジュールは、背景漏れを顕著に低減し、ナチュラルブレンドベースラインに比べ元の背景コンテンツをよりよく保持した。
• モデルは、元の背景と顔のアイデンティティを維持したまま、外見、構造、形状の個別的編集を成功裏に実現した。
• 複数の属性（例：髪の色とスタイルを同時に変更）を共同で操作することができ、リアルで一貫性のある結果を生成した。
• 塗りつぶされたマスクやガイドスティックといった直感的な入力によるインタラクティブ編集をサポートし、高精細な視覚的忠実度でユーザー主導のカスタマイズを可能にした。
• 制限事項として、形状マスクのずれに敏感であること、空間的に変化する外見や極端なスティックパスの維持に課題があることが判明し、アライメントとマスキングの改善の余地がある。