[論文レビュー] Multi-View Data Generation Without View Supervision

Mickaël Chen, Ludovic Denoyer+1 more|arXiv (Cornell University)|Nov 1, 2017

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 9

ひとこと要約

本論文は、視点レベルの教師なし条件下で、マルチビュー画像のコンテンツ要因とビュー要因を分離する生成的対抗的モデル（GMV）およびその条件付き拡張形（C-GMV）を提案する。このモデルにより、コンテンツラベルのみを用いて、多様で現実的な新規ビューの生成が可能となる。モデルは同一コンテンツのペアドマルチビューサンプルを対象に敵対的訓練を実施し、分離された潜在空間を学習し、視点アノテーションが一切不要な状況下でも、4つの画像データセットにおいて視点の多様性とサンプルの現実性の面で最先端の性能を達成する。

ABSTRACT

The development of high-dimensional generative models has recently gained a great surge of interest with the introduction of variational auto-encoders and generative adversarial neural networks. Different variants have been proposed where the underlying latent space is structured, for example, based on attributes describing the data to generate. We focus on a particular problem where one aims at generating samples corresponding to a number of objects under various views. We assume that the distribution of the data is driven by two independent latent factors: the content, which represents the intrinsic features of an object, and the view, which stands for the settings of a particular observation of that object. Therefore, we propose a generative model and a conditional variant built on such a disentangled latent space. This approach allows us to generate realistic samples corresponding to various objects in a high variety of views. Unlike many multi-view approaches, our model doesn't need any supervision on the views but only on the content. Compared to other conditional generation approaches that are mostly based on binary or categorical attributes, we make no such assumption about the factors of variations. Our model can be used on problems with a huge, potentially infinite, number of categories. We experiment it on four image datasets on which we demonstrate the effectiveness of the model and its ability to generalize.

研究の動機と目的

• 視点レベルのアノテーションが一切不要な状況下でも、マルチビュー画像におけるコンテンツ要因とビュー要因を分離して学習する生成モデルの開発。
• 連続的または無限のビュー変化が存在する状況下でも、任意のコンテンツに対して多様で現実的な新規ビューの生成を可能にすること。
• 単一の入力画像から視点の教師なし条件下で複数のビューを生成できる条件付き設定へのモデルの拡張。
• 離散的かつラベル化されたビュー属性に依存するか、ビューの教師信号を必要とする従来のモデルの限界を克服すること。
• 視点アノテーションが限られた、あるいは存在しない実世界の画像データセットにおいて、汎化性と現実性の両面での妥当性を示すこと。

提案手法

• モデルは、同一コンテンツのペアドマルチビューサンプルを対象に、明示的なビューのラベルなしで学習する生成的対抗的ネットワーク（GAN）フレームワークを採用する。
• コンテンツとビューが別々の独立したベクトルに符号化される、分離された潜在空間を学習する。
• 生成された画像ペアに対して敵対的訓練を適用し、高い視覚的品質と現実性を確保する。
• 実際のマルチビューペアと生成されたペアを区別できるディスクラミネーターを採用し、分布モデリングの忠実性を高める。
• 条件付き拡張形（C-GMV）では、分離されたコンテンツコードを用いて、単一の入力画像から複数のビューを生成する。
• 敵対的損失と再構成損失を組み合わせた訓練目的を採用し、コンテンツの同一性を保持すると同時に、ビューの変動を可能にする。

実験結果

リサーチクエスチョン

• RQ1 視点レベルの教師なし条件下でも、生成モデルはマルチビュー画像におけるコンテンツ要因とビュー要因を分離して学習できるか？
• RQ2 連続的または無限のビュー変化が存在する状況下でも、任意のコンテンツに対して多様で現実的なビューのセットを生成できるか？
• RQ3 視点の多様性とサンプル品質の観点から、教師ありまたは離散属性ベースのアプローチと比較して、本モデルはどの程度の性能を示すか？
• RQ4 条件付き拡張形は、ビューのアノテーションが一切不要な状況下でも、単一の入力画像から複数の現実的なビューを生成できるか？
• RQ5 異なるデータセットにおいて、視点分布やコンテンツの複雑さが異なる状況下でも、本モデルは十分に汎化できるか？

主な発見

• 提案されたGMVおよびC-GMVモデルは、視点アノテーションが一切ない状況下でも、顕著な視点多様性と極めて現実的なサンプルを生成する。
• ベースライン手法と比較して、特にCelebAデータセットにおいて、顔の視点や表情の範囲を広く捉える点で優れた多様性を示す。
• 条件付き拡張形（C-GMV）は、単一の入力画像から複数の新規ビューを生成でき、優れた汎化性と分離性を示している。
• 離散的属性に依存せず、連続的かつ潜在的に無限のビュー変化を可能にするため、高品質な生成が実現されている。
• 4つの画像データセットにおける実験により、本モデルは分離可能な表現を学習でき、多様なビュー設定において視覚的に妥当なサンプルを生成できることを確認した。
• 少データ環境、例えば少サンプル学習やワンショット学習の文脈において、データ拡張の観点から強く有望な応用が示唆される。