[論文レビュー] Disentangling in Latent Space by Harnessing a Pretrained Generator.

Yotam Nitzan, Amit H. Bermano+2 more|arXiv (Cornell University)|May 15, 2020

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

本論文では、StyleGANのような事前学習済みの非条件付き生成器を用いて、合成とは分離された潜在空間における分離表現の学習手法を提案する。データを生成器の潜在空間にマッピングすることで、最小限の監視のもとで、他の顔の属性からアイデンティティを分離する最先端の性能を達成し、大規模なトレーニングと監視を必要とする手法を上回る。

ABSTRACT

Learning disentangled representations of data is a fundamental problem in artificial intelligence. Specifically, disentangled latent representations allow generative models to control and compose the disentangled factors in the synthesis process. Current methods, however, require extensive supervision and training, or instead, noticeably compromise quality. In this paper, we present a method that learns how to represent data in a disentangled way, with minimal supervision, manifested solely using available pre-trained networks. Our key insight is to decouple the processes of disentanglement and synthesis, by employing a leading pre-trained unconditional image generator, such as StyleGAN. By learning to map into its latent space, we leverage both its state-of-the-art quality, and its rich and expressive latent space, without the burden of training it. We demonstrate our approach on the complex and high dimensional domain of human heads. We evaluate our method qualitatively and quantitatively, and exhibit its success with de-identification operations and with temporal identity coherency in image sequences. Through extensive experimentation, we show that our method successfully disentangles identity from other facial attributes, surpassing existing methods, even though they require more training and supervision.

研究の動機と目的

• 高次元データにおいて最小限の監視のもとで分離表現を学習する課題に対処すること。
• 分離プロセスを画像生成プロセスから分離し、生成器を再トレーニングする必要を回避すること。
• StyleGANのような事前学習済みの非条件付き生成器の高品質で表現力豊かな潜在空間を活用し、分離表現学習を行うこと。
• 画像生成における分離要因（例：アイデンティティや属性）を制御可能にすること。
• 脱識別化や画像系列における時間的アイデンティティの一貫性といった応用分野での有効性を示すこと。

提案手法

• 入力データを、StyleGANのような事前学習済みの非条件付き生成器の潜在空間にマッピングすることで、その高精細な生成能力を活用する。
• 分離は、事前学習済みの生成器の潜在空間内で、アイデンティティと他の顔の属性を分離するマッピングネットワークを学習することで達成する。
• 生成器の再トレーニングを回避することで、最先端の画像品質と表現力が維持される。
• マッピングネットワークは最小限の監視でトレーニングされ、分離をガイドするための利用可能なアノテーションや弱い信号に依存する。
• 分離された潜在コードにより、アイデンティティを保持したまま属性を編集するなど、制御可能な画像生成が可能になる。
• 本手法は人間の顔画像を対象として評価され、脱識別化やアイデンティティ一貫性のある動画生成において堅牢性を示した。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングを伴わずに、事前学習済みの生成器のみを用いて潜在空間で分離表現を学習できるか？
• RQ2 最小限の監視のもとで、アイデンティティが他の顔の属性からどれほどうまく分離できるか？
• RQ3 より多くのトレーニングと監視を要する従来手法よりも、本手法が優れた分離性能を達成できるか？
• RQ4 制御可能な要因の編集を可能にしつつ、高品質な画像品質を維持できるか？
• RQ5 分離された表現が、脱識別化や時間的アイデンティティの一貫性といった実用的応用をサポートできるか？

主な発見

• 本手法は、最小限の監視のもとで、高次元の顔データにおいてアイデンティティを他の属性から効果的に分離した。
• 従来手法がはるかに多くのトレーニングと監視を要するのに対し、本手法は優れた分離性能を達成した。
• 事前学習済み生成器の合成能力を活用することで、最先端の画像品質を維持した。
• 分離された表現により、顔の構造と属性を保持したままアイデンティティを除去する有効な脱識別化が可能になった。
• 本手法は、属性編集中にフレーム間で一貫したアイデンティティを維持する、時間的アイデンティティの一貫性を示した。
• 定量的評価により、軽量なトレーニング設定であるにもかかわらず、本手法が先行手法を上回る分離メトリクスを達成したことが確認された。