[論文レビュー] Improving Bi-directional Generation between Different Modalities with Variational Autoencoders

Masahiro Suzuki, Kotaro Nakayama+1 more|arXiv (Cornell University)|Jan 26, 2018

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 3

ひとこと要約

本稿では、入力が欠落している場合の高次元モダリティ（例：画像）の生成時に潜在空間の崩壊を防ぐことで、テキストや画像のような高次元と低次元のモダリティ間の双方向的生成を向上させる2つの変分オートエンコーダーの変種、JMVAE-kl と JMVAE-h を提案する。これらのモデルは、一方向のVAEと同等または優れた尤度を達成し、分離された共同表現を用いた制御可能な生成を可能にする。

ABSTRACT

We investigate deep generative models that can exchange multiple modalities bi-directionally, e.g., generating images from corresponding texts and vice versa. A major approach to achieve this objective is to train a model that integrates all the information of different modalities into a joint representation and then to generate one modality from the corresponding other modality via this joint representation. We simply applied this approach to variational autoencoders (VAEs), which we call a joint multimodal variational autoencoder (JMVAE). However, we found that when this model attempts to generate a large dimensional modality missing at the input, the joint representation collapses and this modality cannot be generated successfully. Furthermore, we confirmed that this difficulty cannot be resolved even using a known solution. Therefore, in this study, we propose two models to prevent this difficulty: JMVAE-kl and JMVAE-h. Results of our experiments demonstrate that these methods can prevent the difficulty above and that they generate modalities bi-directionally with equal or higher likelihood than conventional VAE methods, which generate in only one direction. Moreover, we confirm that these methods can obtain the joint representation appropriately, so that they can generate various variations of modality by moving over the joint representation or changing the value of another modality.

研究の動機と目的

• 標準の共同マルチモーダルVAE（JMVAE）が、入力が欠落している場合に高次元モダリティ（例：画像）を正しく生成できない問題に対処すること。
• 入力が欠落しているモダリティの次元が高いために失敗する、反復的サンプリングなどの既存の解決策の限界を乗り越えること。
• 信頼できる双方向的生成を実現するため、複数のモダリティ間で安定的かつ分離された共同表現を維持するモデルを設計すること。
• 提案されたモデルが一方向のVAEと同等または優れた尤度を達成するとともに、潜在空間の操作によって制御可能な生成を可能にすることを示すこと。

提案手法

• JMVAE-kl は、各モダリティごとに別個のエンコーダーを導入し、それらの潜在表現間のKLダイバージェンスを最小化することで、共同表現学習の安定化を図る。
• JMVAE-h は、潜在空間に階層的確率構造を導入することで、表現能力の向上とモードの分離を図り、崩壊を防止する。
• 両モデルとも、標準のVAEフレームワークを拡張し、モダリティ間で潜在変数を共有しながら、モダリティ固有の推論経路を保持する。
• 変分推論を用いて、同時尤度の下界を最適化することで、バックプロパゲーションによるエンドツーエンド学習を可能にする。
• 画像品質の向上のため、JMVAE-kl はGANと組み合わせ、VAEの生成モデルをGANの生成器として用い、VAEの下界を同時に最適化する。
• 潜在空間の操作は、潜在コードの補間または変更によって行われ、属性に条件づけられた画像の変種の制御可能な生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 入力が欠落している場合に、共同マルチモーダルVAE（JMVAE）は高次元モダリティ（例：画像）を正しく生成できるか？
• RQ2 反復的サンプリング法は、高次元のモダリティが欠落している状況での潜在空間の崩壊を効果的に解消できるか？
• RQ3 JMVAE-kl と JMVAE-h は、潜在空間の崩壊を防ぎ、両方向での高品質な生成を維持できるか？
• RQ4 提案されたモデルは、モダリティ間で分離可能で制御可能な生成を可能にする共同表現を学習できるか？
• RQ5 潜在表現を用いて、潜在コードや属性を操作することで、多様な画像の変種を生成できるか？

主な発見

• JMVAE-kl と JMVAE-h は、特に CelebA データセットにおいて、標準のJMVAEと比較して、属性から画像を生成する条件付き対数尤度を顕著に向上させる。
• JMVAE-kl は、1回のサンプリングステップのみで、高精度な属性条件付き顔画像を生成できるが、標準のJMVAEは完全に失敗する。
• JMVAE-h は、サンプリングステップを増やすことで画像品質を向上させるが、モードの混合を引き起こし、属性の整合性が悪くなる。
• JMVAE-kl が学習する共同表現は、多様体学習を可能にする：属性ごとにグループ化された画像は、平均顔が中心となる整合性のあるクラスタを形成する。
• 双方向的生成が成功裏に実装された：JMVAE-kl は、属性情報が欠落している入力画像から、属性と変更された画像の両方を生成可能である。
• これらのモデルは、一方向のVAEと同等または優れた尤度を達成しており、双方向的生成タスクにおける有効性が確認された。