[論文レビュー] Joint Multimodal Learning with Deep Generative Models

Masahiro Suzuki, Kotaro Nakayama+1 more|arXiv (Cornell University)|Nov 7, 2016

Speech and dialogue systems被引用数 123

ひとこと要約

本論文は、Joint Multimodal Variational Autoencoder (JMVAE) を用いて複数モダリティの結合分布をモデル化し、双方向生成を可能にする。さらに、モダリティが欠損した場合の潜在崩壊を防ぐ JMVAE-kl を提案する。

ABSTRACT

We investigate deep generative models that can exchange multiple modalities bi-directionally, e.g., generating images from corresponding texts and vice versa. Recently, some studies handle multiple modalities on deep generative models, such as variational autoencoders (VAEs). However, these models typically assume that modalities are forced to have a conditioned relation, i.e., we can only generate modalities in one direction. To achieve our objective, we should extract a joint representation that captures high-level concepts among all modalities and through which we can exchange them bi-directionally. As described herein, we propose a joint multimodal variational autoencoder (JMVAE), in which all modalities are independently conditioned on joint representation. In other words, it models a joint distribution of modalities. Furthermore, to be able to generate missing modalities from the remaining modalities properly, we develop an additional method, JMVAE-kl, that is trained by reducing the divergence between JMVAE's encoder and prepared networks of respective modalities. Our experiments show that our proposed method can obtain appropriate joint representation from multiple modalities and that it can generate and reconstruct them more properly than conventional VAEs. We further demonstrate that JMVAE can generate multiple modalities bi-directionally.

研究の動機と目的

• 高レベルの概念を跨ぐ多様なモダリティ（例：画像とテキスト）を捉える共同表現の学習を動機づける。
• p(x, w) をモデル化してモダリティを双方向に交換できる生成モデルを開発する。
• 生成時に欠損モダリティを扱う仕組みを提案し、潜在崩壊を避ける。
• 結合表現がマルチモーダルデータセットでの生成・再構成品質を改善することを実証する。

提案手法

• 各モダリティが共有潜在変数 z の下で独立に条件付けられ、p(x, w) = p(x|z)p(w|z) をモデル化する Joint Multimodal VAE (JMVAE) を定義する。
• エンコーダとデコーダを変分推論で訓練し、log p(x, w) の下界を最大化する。
• 単一モダリティのエンコーダ q(z|x) および q(z|w) を、多モーダルエンコーダ q(z|x, w) に一致させる KL 発散ベースの正則化子（α パラメータ）を追加する。
• 客観を変分情報量 (VI) との関係で整理し、双方向の交換を正当化し、学習を VI 最小化として解釈する。
• 2つ以上のモダリティへ拡張し、モダリティ特有アーキテクチャ（例：ガウス、ベルヌーイ、CNNベースデコーダ）に対する現実的訓練を議論する。
• MNIST と CelebA を用いた実験や、画像生成品質を改善する JMVAE-GAN 変種を含む。

実験結果

リサーチクエスチョン

• RQ1 複数モダリティから学習した共同潜在表現は、各モダリティの生成と再構成を正確にサポートするか。
• RQ2 各モダリティを共有潜在変数の下で独立に条件付けることで、x from w および w from x の双方向生成は条件付き VAE より優れているか。
• RQ3 テスト時に一つ以上のモダリティが欠損した場合、JMVAE-kl はサンプル品質にどう影響するか。
• RQ4 大きく異なる次元・構造を持つモダリティ（例：画像と二値属性）にスケール可能か。

主な発見

• JMVAE は joint representations を抽出し、MNIST と CelebA で単一モダリティの対数尤度と同等または改善。
• JMVAE はモダリティ間の双方向生成を可能にし、属性から画像を生成し、画像から属性へも対応。
• JMVAE-kl 変種は欠損時のサンプル崩壊を大幅に緩和し、条件付き・周辺対数尤度を改善。
• CelebA では、JMVAE および GAN 強化変種は周辺・条件付き対数尤度の両方で競合するマルチモーダルモデルを上回る。
• 結合モダリル学習は、定性的な結果（例：属性条件付きの顔生成）において、単一モダリティのベースラインより強い。