[論文レビュー] IAN: Combining Generative Adversarial Networks for Imaginative Face Generation

Abdullah Hamdi, Bernard Ghanem|arXiv (Cornell University)|Apr 16, 2019

Generative Adversarial Networks and Image Synthesis参考文献 40被引用数 5

ひとこと要約

本稿では、ベースセットX（例：人間の顔）とターゲットセットY（例：動物の顔）の特徴を融合して現実的で創造的な顔画像を生成する、K近傍法（K-NN）正則化GAM（K-GAN）とCycleGANを組み合わせた段階的GANフレームワーク、IAN（Imaginative Adversarial Network）を提案する。K-GAN正則化器は高次元特徴空間におけるYの特徴マッチングを強制することで、安定的かつ多様な新規ハイブリッド顔アイデンティティの生成を可能にし、リアルさを維持するとともに、多ドメインマニフォールド遷移やキャラクターデザインといった応用を可能にする。

ABSTRACT

Generative Adversarial Networks (GANs) have gained momentum for their ability to model image distributions. They learn to emulate the training set and that enables sampling from that domain and using the knowledge learned for useful applications. Several methods proposed enhancing GANs, including regularizing the loss with some feature matching. We seek to push GANs beyond the data in the training and try to explore unseen territory in the image manifold. We first propose a new regularizer for GAN based on K-nearest neighbor (K-NN) selective feature matching to a target set Y in high-level feature space, during the adversarial training of GAN on the base set X, and we call this novel model K-GAN. We show that minimizing the added term follows from cross-entropy minimization between the distributions of GAN and the set Y. Then, We introduce a cascaded framework for GANs that try to address the task of imagining a new distribution that combines the base set X and target set Y by cascading sampling GANs with translation GANs, and we dub the cascade of such GANs as the Imaginative Adversarial Network (IAN). We conduct an objective and subjective evaluation for different IAN setups in the addressed task and show some useful applications for these IANs, like manifold traversing and creative face generation for characters' design in movies or video games.

研究の動機と目的

• 訓練データ分布を超える新規で現実的な画像を生成できるようにGANを拡張すること。
• 標準GANが訓練データを記憶し、未学習のハイブリッド画像分布への一般化に失敗するという限界を克服すること。
• ベース分布Xを維持しつつ、ターゲットドメインYの特徴へ誘導する安定的で数学的に根拠のある正則化器を開発すること。
• サンプリングGAMと画像対画像変換を組み合わせた段階的GANフレームワーク（IAN）を構築し、創造的な顔画像生成を実現すること。
• 映画やビデオゲームにおけるキャラクターデザインなど、クリエイティブデザイン分野での実用的応用を示すこと。

提案手法

• 高次元特徴空間（事前学習済みImageNet分類器から得る）におけるK-NN選択を用いた、K-GANと呼ばれる新規なGAN正則化器を提案。この正則化器により、生成画像がターゲットセットYに特徴マッチングされる。
• サンプリングGAM（例：K-GANまたはBEGAN）がベースセットXから画像を生成し、それをCycleGANを用いてターゲットドメインYに変換する段階的フレームワークを導入。
• 事前学習済みAlexNetの特徴埋め込みを用いて高次元空間におけるK-NNマッチングを計算し、安定的で意味のある特徴マッチングを実現。
• BEGANの識別器から派生したオートエンコーダアーキテクチャを用いて、潜在ベクトルの符号化と復元を行い、マニフォールド遷移を可能にする。
• XからYへの画像変換中に構造的およびアイデンティティの保存を保証するため、CycleGANでサイクル整合性損失を適用。
• 段階的システムの出力を組み合わせることで、XとYの両方の特徴を融合したハイブリッド顔画像を生成し、リアルさを維持する。

実験結果

リサーチクエスチョン

• RQ1 K-NNに基づく特徴マッチング正則化器は、ベース分布Xを劣化させることなく、GANの訓練を安定化させ、ターゲットドメインYへ向かう生成を誘導できるか？
• RQ2 サンプリングGAMとCycleGANを段階的に組み合わせることで、2つの異なるドメインの特徴を融合した現実的で創造的な顔画像の合成が可能になるか？
• RQ3 本稿で提案するIANフレームワークは、ヴァニラGAMおよび正則化なしの段階的GANと比較して、画像のリアルさと人間の好みにおいて優れているか？
• RQ4 2つのベースサンプルのみを用いて、IANフレームワークが多ドメインマニフォールド遷移をサポートできるか？
• RQ5 IANは映画やビデオゲームにおけるキャラクターデザインといったクリエイティブ応用に、どの程度活用可能か？

主な発見

• K-GAN正則化器は、GANの出力分布とターゲットセットYとの間の交差エントロピーを特徴空間で最小化することで、生成画像の安定性と品質を顕著に向上させる。
• K-GANをCycleGANと段階的に組み合わせることで、正則化なしのIANと比較して、ターゲットドメインYのインセプションスコアが40%向上し、好みスコアが15%向上した。
• 人間の好みが正則化なしIANを好む場合もあるが、K-GANはインセプションネットワークスコアおよび人間評価指標の両面で標準GANを一貫して上回った。
• このフレームワークにより、2つのベース画像の潜在コードを補間することで、1組のベースサンプルのみを用いても、人間から犬、猫、馬など複数のターゲットドメインにわたる滑らかな遷移を生成できる。
• IANフレームワークは、現実的で創造的であると評価されるヒューマノイド・アニマルキャラクターフェイスを成功裏に生成し、映画やビデオゲームにおけるクリエイティブデザイン分野での有用性を示した。
• 正則化器を放棄すると、高周波ノイズと誤差の増幅がCycleGAN内で顕著に現れ、K-NN特徴マッチングが安定性を確保するために不可欠であることを確認した。