[論文レビュー] MulGAN: Facial Attribute Editing by Exemplar

Jingtao Guo, Zhenzhen Qian+2 more|arXiv (Cornell University)|Dec 28, 2019

Face recognition and analysis参考文献 23被引用数 10

ひとこと要約

MulGANは、例示画像を用いた多属性顔画像編集のための新しいGANベースのフレームワークを提案する。属性ラベルを事前に定義された潜在特徴ブロックに直接制約することで、アイデンティティの詳細を保持しながら複数の属性を同時に編集可能となる。ダウンサンプリング層の削減と属性分類器損失の導入により、先行する例示ベース手法と比較して、より優れた属性転送精度と画像品質を達成する。

ABSTRACT

Recent studies on face attribute editing by exemplars have achieved promising results due to the increasing power of deep convolutional networks and generative adversarial networks. These methods encode attribute-related information in images into the predefined region of the latent feature space by employing a pair of images with opposite attributes as input to train model, the face attribute transfer between the input image and the exemplar can be achieved by exchanging their attribute-related latent feature region. However, they suffer from three limitations: (1) the model must be trained using a pair of images with opposite attributes as input; (2) weak capability of editing multiple attributes by exemplars; (3) poor quality of generating image. Instead of imposing opposite-attribute constraints on the input image in order to make the attribute information of images be encoded in the predefined region of the latent feature space, in this work we directly apply the attribute labels constraint to the predefined region of the latent feature space. Meanwhile, an attribute classification loss is employed to make the model learn to extract the attribute-related information of images into the predefined latent feature region of the corresponding attribute, which enables our method to transfer multiple attributes of the exemplar simultaneously. Besides, a novel model structure is designed to enhance attribute transfer capabilities by exemplars while improve the quality of the generated image. Experiments demonstrate the effectiveness of our model on overcoming the above three limitations by comparing with other methods on the CelebA dataset.

研究の動機と目的

• 対照的属性ペアのトレーニング制約により、従来の例示ベース手法が一度に一つの属性しか編集できないという制限を解消すること。
• エンコーダ・デコーダアーキテクチャにおける過剰なダウンサンプリングが原因で生じる画像品質の低下を克服すること。
• 1枚の例示画像を用いて、複数の顔の属性を同時に編集できること。
• ペairedトレーニングデータに依存せず、事前に定義された潜在ブロックに直接属性ラベルを適用することで、属性転送の忠実度を向上させること。
• ダウンサンプリング層の削減により、微細な属性に依存しない詳細の損失を最小限に抑え、生成品質を向上させること。

提案手法

• モデルは潜在特徴マップをチャネル次元に沿って属性関連部と属性無関連部に分割し、アイデンティティの詳細を保持する。
• 属性関連特徴はブロックごとのコンponentsに分割され、それぞれが特定の顔の属性（例：ボサボサ、笑顔）に専用化される。
• 二値属性ラベルが潜在空間内の事前に定義された属性関連ブロックに直接適用され、特徴学習をガイドする。
• 属性分類器を用いて、モデルが対応する潜在ブロックに属性固有の情報を抽出・保持するよう強制する。
• 生成器は標準のオートエンコーダと比較して、ダウンサンプリング層を減らすことで、微細な詳細を保持し、画像品質を向上させる。
• 識別器はリアルな画像生成を保証し、属性分類器は監視により正しい属性転送を強制する。

実験結果

リサーチクエスチョン

• RQ1 例示画像から、ペアの反対属性トレーニングデータを必要とせずに、複数の顔の属性を同時に転送できる生成モデルは存在するか？
• RQ2 潜在特徴ブロックへの直接ラベリングは、ペアベースのトレーニングと比較して、多属性転送性能をどのように向上させるか？
• RQ3 ダウンサンプリング層の削減は、例示ベース編集における属性転送の忠実度と画像品質をどの程度向上させるか？
• RQ4 モデルは、アイデンティティの詳細を保持し、シャープで現実的な画像を生成しながら、高精細な属性スタイル転送を維持できるか？
• RQ5 提案手法は、既存の例示ベースおよびラベルベースの顔属性編集手法と、定量的および定性的に比較してどのように優れているか？

主な発見

• ユーザー研究においてMulGANは競合手法を上回り、参加者の95％がボサボサ、笑顔、眼鏡の各属性について、転送されたスタイルが例示画像と関連していると評価した。
• FIDスコアが競合手法を下回り、実データ分布に近い高品質な画像生成を示している。
• 4つのダウンサンプリング層が、属性転送精度と画像品質の両面で最適なバランスを保っている。3層または5層よりも優れた性能を示した。
• アブレーションスタディにより、ダウンサンプリング層を減らすことでより多くの微細な詳細が保持され、属性転送と視覚的忠実度の両方が向上することが確認された。
• 二値ラベルベクトルを用いた制御可能な多属性編集が可能であり、ユーザーが例示画像からどの属性を転送するかを選択できる。
• 属性分類器損失は、潜在空間に分離可能で属性固有の表現を学習するのを効果的にガイドし、転送の一貫性を向上させた。