[論文レビュー] Multilinear Latent Conditioning for Generating Unseen Attribute Combinations

Markos Georgopoulos, Grigorios G. Chrysos+2 more|arXiv (Cornell University)|Sep 9, 2020

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本論文は、属性間の乗法的相互作用をモデル化することで、未学習の属性組み合わせの生成を可能にする、条件付き変分オートエンコーダー（cVAE）のための多次元潜在条件付けフレームワークを提案する。潜在空間におけるラベル依存の平均をタッカーおよびCPテンソル分解を用いて学習することで、訓練データを超えた一般化が可能となり、MNIST、Fashion-MNIST、CelebAにおいて、訓練時において最大30個中20個の組み合わせが欠落している状況でも、高品質な未学習組み合わせの合成が達成される。

ABSTRACT

Deep generative models rely on their inductive bias to facilitate generalization, especially for problems with high dimensional data, like images. However, empirical studies have shown that variational autoencoders (VAE) and generative adversarial networks (GAN) lack the generalization ability that occurs naturally in human perception. For example, humans can visualize a woman smiling after only seeing a smiling man. On the contrary, the standard conditional VAE (cVAE) is unable to generate unseen attribute combinations. To this end, we extend cVAE by introducing a multilinear latent conditioning framework that captures the multiplicative interactions between the attributes. We implement two variants of our model and demonstrate their efficacy on MNIST, Fashion-MNIST and CelebA. Altogether, we design a novel conditioning framework that can be used with any architecture to synthesize unseen attribute combinations.

研究の動機と目的

• 標準的な条件付きVAEが、たとえば訓練データに「笑顔の男性」しか存在しない場合に「笑顔の女性」のような未学習の属性組み合わせを生成できないという制限を克服すること。
• 潜在空間における属性間の高次相互作用をモデル化し、訓練データに存在しない組み合わせへの一般化を可能にすること。
• 任意の生成モデルアーキテクチャに統合可能な条件付けフレームワークを構築し、ゼロショット属性組み合わせ生成を改善すること。
• 欠落した属性組み合わせや相関のあるラベルを含むベンチマーク上でモデルの性能を評価し、耐性と一般化能力を示すこと。
• 複数の属性およびラベルなしの属性を扱えるようにフレームワークを拡張し、実用的応用性を高めること。

提案手法

• 入力属性の多次元関数として潜在事前分布の平均をモデル化する多次元潜在条件付け機構を提案し、テンソル分解を用いる。
• 属性間の相互作用テンソルをタッカーおよびCP分解を用いて表現することで、欠落した属性組み合わせが存在しても効率的な学習が可能になる。
• VAEフレームワークを用いてエンドツーエンドで訓練し、ラベル埋め込みを多次元関数を通じて変換して潜在空間を条件づける。
• ラベルが欠落している場合に未観測の属性クラスを推定するため、Gumbel-Softmaxトリックを用いた第2のエンコーダーヘッドを導入し、未学習の組み合わせの分離と生成を可能にする。
• 階層的なテンソル分解構造を採用：線形項、2次相互作用、および高次相互作用（例：3次組み合わせ）を高次テンソルでモデル化する。
• 再パラメータライゼーショントリックを適用することで、確率的潜在変数を介したバックプロパゲーションが可能となり、エンドツーエンドの訓練が保証される。

実験結果

リサーチクエスチョン

• RQ1 訓練時において完全に未見の属性組み合わせ（例：訓練データに「笑顔の男性」しか存在しない場合の「笑顔の女性」）の画像を生成できるように、条件付きVAEを拡張できるか？
• RQ2 属性間の乗法的相互作用をモデル化することで、標準的なcVAEと比較して、未学習の組み合わせへの一般化性能が顕著に向上するか？
• RQ3 複数の属性が関与する状況下で、高いラベル相関がある中でも、モデルは欠落した組み合わせを回復できるか？
• RQ4 色のような明示的ラベルなしの属性（例：MNISTの色）を扱えるように、フレームワークを拡張できるか？
• RQ5 欠落した属性組み合わせの数が増加するに従って、モデルの性能はどのように変化するか？

主な発見

• MNISTにおいて30個中6個の組み合わせが欠落している状況でも、未学習の属性組み合わせの分類で94.5%の精度を達成し、強力な一般化能力を示している。
• 3属性のMorpho-MNISTベンチマークでは、訓練例が存在しない3つの未学習組み合わせ（例：0-オранジ、1-グリーン）を正常に合成している。
• 30個中20個の組み合わせが欠落している状況でも、属性分類精度が15.8%を維持しており、欠落データに対する耐性を示している。
• CelebAおよびFashion-MNISTにおける定性的および定量的評価を通じて、標準的なcVAEに比べ、未学習の属性組み合わせのリアルな画像生成性能が優れていることが確認された。
• 図9に示すように、色ラベルが提供されていなくても、属性の分離が効果的に行われ、妥当な未学習の組み合わせが生成されている。
• テンソル分解を用いた多次元相互作用のモデル化により、加法的または独立した条件付けを超えた、複雑なラベル依存関係を捉える能力がネットワークに与えられている。