[論文レビュー] Explicit Disentanglement of Appearance and Perspective in Generative Models

Nicki Skafte Detlefsen, Søren Hauberg|arXiv (Cornell University)|Jun 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 14

ひとこと要約

この論文は、エンコーダーおよびデコーダーの両方で空間変換器を用いて空間的変形をモデル化することで、画像の外見と視点を明示的に分離する変分オートエンコーダー、VITAEを提案する。この手法は、MNISTにおける数字の識別子（外見）と回転（視点）のほか、人間の身体画像における形状とポーズの分離において、一般化された因子分離モデルを上回る性能を発揮し、微分同相変換によるターゲットを絞ったインダクティブバイアスによって実現する。

ABSTRACT

Disentangled representation learning finds compact, independent and easy-to-interpret factors of the data. Learning such has been shown to require an inductive bias, which we explicitly encode in a generative model of images. Specifically, we propose a model with two latent spaces: one that represents spatial transformations of the input data, and another that represents the transformed data. We find that the latter naturally captures the intrinsic appearance of the data. To realize the generative model, we propose a Variationally Inferred Transformational Autoencoder (VITAE) that incorporates a spatial transformer into a variational autoencoder. We show how to perform inference in the model efficiently by carefully designing the encoders and restricting the transformation class to be diffeomorphic. Empirically, our model separates the visual style from digit type on MNIST, separates shape and pose in images of human bodies and facial features from facial shape on CelebA.

研究の動機と目的

• 深層生成モデルにおける因子分離表現の学習という課題に、外見と視点を別々の要因として明示的にモデル化することで対処すること。
• 空間的変形を組み込むことでインダクティブバイアスを導入し、最適化や損失関数設計に依存せずに因子分離性を向上させること。
• 因子分離可能な視覚的要因を扱える安定的で効率的な推論機構を、変分オートエンコーダー枠組み内で開発すること。
• 視点（例：回転、位置）を外見（例：数字の識別子、顔の特徴）から分離することで、より解釈可能で因子分離された表現が得られることを示すこと。
• 多様なデータセットを用いた実験を通じて、標準的な因子分離モデルに比べて定量的・定性的に優れた性能を示すことで、モデルの有効性を検証すること。

提案手法

• 本モデルは、エンコーダーおよびデコーダーの両方で空間変換器を組み合わせた変分推論的変形オートエンコーダー（VITAE）を用いる。
• 視点空間は、微分同相変換を用いて空間的変形（例：回転、スケーリング）を符号化し、滑らかで可逆な写像を保証する。
• 外見空間は、変形された入力を再構築することで学習され、数字の識別子や顔の形状といった不変特徴を捉える。
• 視点が最初に推論され、その後に変形データから外見が符号化されるという共同推論戦略を採用することで、因子分離された潜在空間を実現する。
• 訓練の安定性と意味のある因子分離性を確保するため、変換クラスを微分同相に制限する。
• VAEの目的関数にKL正則化を用いるが、主な革新点は空間変換器によるインダクティブバイアスのアーキテクチャ的埋め込みにある。

実験結果

リサーチクエスチョン

• RQ1 空間的変形を用いた外見および視点要因の明示的モデリングは、標準的なVAEに比べてより優れた因子分離性をもたらすか？
• RQ2 微分同相変換をインダクティブバイアスとして組み込むことで、生成モデルにおける因子分離性と訓練安定性が向上するか？
• RQ3 VITAEモデルは、人間の身体画像におけるポーズと形状、CelebAにおける顔の特徴と顔の形状をどの程度分離できるか？
• RQ4 ベンチマークデータセットにおいて、β-TCVAE や DIP-VAE-II といった一般化された因子分離モデルと比較して、VITAEの因子分離性能はどの程度優れているか？
• RQ5 標準的なVAEとは異なり、KL項のハイパーパrameterチューニングに依存せずに、VITAEは因子分離を達成できるか？

主な発見

• MNISTでは、VITAEが数字の識別子（外見）と回転（視点）を成功裏に因子分離し、潜在空間の走査において、1つの要因のみが変化する様子が確認された。
• SMPLで生成された人間の身体画像では、VITAEが身体の形状とポーズの質的因子分離を達成し、外見空間の変動が腕の位置に影響し、視点空間の変動が身体の形状に影響することが示された。
• CelebAでは、潜在空間の走査を通じて顔の大きさ、顔の位置ずれ、髪の色が分離され、複雑な現実世界の要因に対する制御が可能であることが示された。
• VITAEの訓練は、他のモデルと比較してより安定しており、特にKL重み付けに対する感受性が低い。
• β-TCVAE や DIP-VAE-II と比較して、VITAEは人間の身体画像において優れた因子分離性を示し、モード崩壊が最小限に抑えられ、要因制御が優れていた。
• 評価されたすべてのデータセットにおいて、一般化されたモデルに比べてVITAEはより優れた因子分離性を達成しており、アーキテクチャ的設計によるインダクティブバイアスが因子分離に不可欠であるという仮説を支持する。