[論文レビュー] CR-GAN: Learning Complete Representations for Multi-view Generation

Yu Tian, Xi Peng+3 more|arXiv (Cornell University)|Jun 28, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 42

ひとこと要約

CR-GAN は generation path と reconstruction path を備えた二経路 GAN を導入し、完全な潜在表現を学習する。これにより、未見の入力から現実的でアイデンティティを保つ多視点生成を実現し、ラベルなしデータを用いた自己 supervis ed 学習を行う。

ABSTRACT

Generating multi-view images from a single-view input is an essential yet challenging problem. It has broad applications in vision, graphics, and robotics. Our study indicates that the widely-used generative adversarial network (GAN) may learn "incomplete" representations due to the single-pathway framework: an encoder-decoder network followed by a discriminator network. We propose CR-GAN to address this problem. In addition to the single reconstruction path, we introduce a generation sideway to maintain the completeness of the learned embedding space. The two learning pathways collaborate and compete in a parameter-sharing manner, yielding considerably improved generalization ability to "unseen" dataset. More importantly, the two-pathway framework makes it possible to combine both labeled and unlabeled data for self-supervised learning, which further enriches the embedding space for realistic generations. The experimental results prove that CR-GAN significantly outperforms state-of-the-art methods, especially when generating from "unseen" inputs in wild conditions.

研究の動機と目的

• GAN ベースの多視点生成における完全な表現の必要性を動機づける。
• 完全な潜在表現を学習する二経路 CR-GAN を提案する。
• 自己監督トレーニングを通じて、ラベル付きデータとラベルなしデータの双方から学習を可能にする。
• 未見データセットと野外条件での一般化の改善を実証する。

提案手法

• 共有ジェネレータ G を伴う二経路アーキテクチャ。
• 生成パス: G(v, z) はランダムノイズ z と視点ラベル v から画像を生成する。
• 再構成パス: E は画像を潜在 z と視点 v に写像してターゲット視点を再構成する。
• クロス再構成タスク: E(x_i) は z を生成し、これを異なる視点 v_j とともに G が x_j を再構成する。
• D_s, D_v の視点整合性項と WGAN-GP スタイルの adversarial 損失。
• 自己監督学習フェーズでは、ラベルなしデータに pseudo-views を E によって割り当て、E, G, D の改良に用いる。

実験結果

リサーチクエスチョン

• RQ1 二経路 GAN は潜在空間 Z 全体を覆う潜在表現を学習できるか？
• RQ2 生成パスを取り入れると、単一経路モデルと比較して見たことのないデータや野生データへの一般化が改善されるか？
• RQ3 ラベルなしデータを自己監督学習で効果的に活用して埋め込み空間を豊かにし、生成品質を改善できるか？
• RQ4 難しいデータセットでの多視点におけるアイデンティティ保全はどの程度 CR-GAN で達成されるか？

主な発見

データセット	DR-GAN	CR-GAN
Multi-PIE	1.073±0.013	1.018±0.019
CelebA	1.281±0.007	1.214±0.009
IJB-A	1.295±0.008	1.217±0.010

• CR-GAN は最先端メソッドを上回り、特に unseen data (IJB-A) で優れている。
• 二経路トレーニングは、単一経路モデルよりもリアルでディテール豊富で、欠陥が少ない画像を生み出す。
• ラベルなしデータを用いた自己監督学習は埋め込み空間を豊かにし、現実感とアイデンティティ保全を向上させる。
• CR-GAN は埋め込み空間におけるアイデンティティのクラスタを DR-GAN より引き締め、t-SNE ビジュアライゼーションで示される。
• アイデンティティ類似性指標では、CR-GAN は Multi-PIE、CelebA、IJB-A の各データセットで DR-GAN より低い（良い）スコアを達成。
• CR-GAN はランダムノイズから多視点の画像を多様なスタイルで生成でき、単一経路法で観察されるブラーを回避する。