[論文レビュー] Semantically Decomposing the Latent Spaces of Generative Adversarial Networks

Chris Donahue, Zachary C. Lipton+2 more|arXiv (Cornell University)|May 22, 2017

Face recognition and analysis被引用数 44

ひとこと要約

本稿では、同一被写体のペア画像を用いて訓練することで、生成的対抗ネットワークの潜在空間をアイデンティティ（z_I）と観測（z_O）要因に分離する、意味論的分解GAN（SD-GAN）を提案する。アイデンティティの一貫性を保証するためのシアン型判別器を用いることで、SD-GANは、アイデンティティが一致する写真実写的で高品質な画像ペアを生成するとともに、ポーズ、照明、表情などの従属要因を独立して制御可能となる。

ABSTRACT

We propose a new algorithm for training generative adversarial networks that jointly learns latent codes for both identities (e.g. individual humans) and observations (e.g. specific photographs). By fixing the identity portion of the latent codes, we can generate diverse images of the same subject, and by fixing the observation portion, we can traverse the manifold of subjects while maintaining contingent aspects such as lighting and pose. Our algorithm features a pairwise training scheme in which each sample from the generator consists of two images with a common identity code. Corresponding samples from the real dataset consist of two distinct photographs of the same subject. In order to fool the discriminator, the generator must produce pairs that are photorealistic, distinct, and appear to depict the same individual. We augment both the DCGAN and BEGAN approaches with Siamese discriminators to facilitate pairwise training. Experiments with human judges and an off-the-shelf face verification system demonstrate our algorithm's ability to generate convincing, identity-matched photographs.

研究の動機と目的

• 標準GANが、顔や製品画像におけるアイデンティティなどのデータ内の既知の共通要因を明示的に分離できないという限界に対処すること。
• 潜在コードのアイデンティティ成分を固定することで、同一被写体の多様で写真実写的な画像を生成すること。
• ポーズや照明などの要因を明示的な条件付けなしに、アイデンティティと観測要因を独立して制御できること。
• ペアワイズの訓練スキームを構築し、アイデンティティの一貫性を評価するシアン型判別器を用いて、分離性を促進すること。
• 訓練中に見られなかった新しいアイデンティティのゼロショット生成を可能とすること。これは、条件付きGANとは異なり、既存のアイデンティティに限定される点が特徴である。

提案手法

• 潜在空間を二つの部分に分解：z_I（アイデンティティ）とz_O（観測）、z_Iはペア画像間で共有される。
• 1回の順伝播で同じz_Iだが異なるz_Oを持つ2枚の画像を生成するように生成器を訓練する。
• 2枚の画像を入力とし、それらが同じアイデンティティかどうかの確率を出力するシアン型判別器アーキテクチャを用いる。
• 判別器を、実際の一致ペア（同じアイデンティティ）と偽物または不一致ペア（異なるアイデンティティ）を区別できるように訓練する。
• DCGANおよびBEGANフレームワークを変更し、シアン型判別器を敵対的訓練の目的関数に統合する。
• シアン型判別器がペアを一致すると分類するように、多様で写真実写的な画像ペアを生成するように生成器を最適化する。

実験結果

リサーチクエスチョン

• RQ1 明示的な教師信号なしに、GANがポーズや照明などの従属観測要因からアイデンティティを分離できるか？
• RQ2 アイデンティティの一貫性を保ちながら、同一アイデンティティの多様で写真実写的な画像を生成できるか？
• RQ3 シアン型判別器を用いたペアワイズ訓練スキームは、標準GANと比較してアイデンティティの一貫性を向上させるか？
• RQ4 SD-GANは、学習データに存在しない新しいアイデンティティを生成できるか？これは条件付きGANとは対照的である。
• RQ5 人間のアノテーターおよび自動顔認証システムは、生成された画像ペアのアイデンティティ一致をどの程度正しく認識できるか？

主な発見

• SD-GANは、同一アイデンティティの多様で写真実写的な画像ペアを成功裏に生成し、人間の評価者により85％のペアが一致すると正しく識別された。
• 市販の顔認証システムは、生成された画像ペアの92％を同じ被写体を示していると正しく分類した。
• SD-GANは、アイデンティティ多様体と観測多様体に沿った独立した補間を可能とし、アイデンティティと外見要因の分離された制御を示した。
• SD-BEGANバージョンは、SD-DCGANと比較してより写真実写的なサンプルを生成したが、両者とも高いアイデンティティ一貫性を達成した。
• 靴のデータセットでは、z_Iの変化に伴い同一の靴の種類が維持され、ポーズや視点が変化しており、効果的な分離が確認された。
• SD-GANは、学習データ内に存在しない完全に新しいアイデンティティを生成でき、これは条件付きGANが既存のアイデンティティに限定されるのとは対照的である。