[論文レビュー] Variational Mixture-of-Experts Autoencoders for Multi-Modal Deep Generative Models

Yuge Shi, N. Siddharth+2 more|arXiv (Cornell University)|Nov 8, 2019

Generative Adversarial Networks and Image Synthesis参考文献 55被引用数 91

ひとこと要約

MMVAEを提案する。複数モダル間の混合専門家後部を持つ多モダル変分オートエンコーダで、モダリティ間の共同モデリングと生成を可能にし、潜在因子の分解、結合生成の一貫性、クロス生成の一貫性、そして単一モダリティ学習の改善を実現する。 image–image および image–language タスクで PoE-based MVAE より優れている。

ABSTRACT

Learning generative models that span multiple data modalities, such as vision and language, is often motivated by the desire to learn more useful, generalisable representations that faithfully capture common underlying factors between the modalities. In this work, we characterise successful learning of such models as the fulfillment of four criteria: i) implicit latent decomposition into shared and private subspaces, ii) coherent joint generation over all modalities, iii) coherent cross-generation across individual modalities, and iv) improved model learning for individual modalities through multi-modal integration. Here, we propose a mixture-of-experts multimodal variational autoencoder (MMVAE) to learn generative models on different sets of modalities, including a challenging image-language dataset, and demonstrate its ability to satisfy all four criteria, both qualitatively and quantitatively.

研究の動機と目的

• 4つの基準を定義する: 潜在因子が共有/プライベートのサブ空間に分解されること、結合生成の一貫性、クロス生成の一貫性、そしてシナジーによる単一モダリティの性能向上。
• モダリティ上の mixture-of-experts variational posterior を用いた MMVAE を導入し、多モーダル表現を学習する。
• image–image (MNIST–SVHN) および image–language (CUB captions) タスクで MMVAE を実証し、挑戦的な image↔language 変換を含む。
• PoE-based MVAE との比較と潜在構造および生成の一貫性を分析する。

提案手法

• 変分オートエンコーダフレームワークを用い、結合生成モデル p(z, x1:M) = p(z) ∏m p(xm|z) を用いる。
• 結合後方分布 q(z|x1:M) を単峰後方分布の混合で近似する: q(z|x1:M) = Σm αm qφm(z|xm), ただし αm = 1/M。
• モダリティを跨いだ stratified sampling を用いた LMoE-IWAE の、より厳密な目的関数を得るため、複数モダリティに拡張された IWAEスタイルの下限を採用する。
• MoE 対 Product-of-Experts (PoE) の因子分解を比較し、トレーニング時にすべてのモダリティが存在する設定で MoE がより良い潜在因子分解とクロス生成をもたらすと主張する。
• 潜在表現を軸整列するように促す Laplace priors/ポスターリオを用いたトレーニングを提供する。最適化には Adam/AMSGrad を用いる。
• 質的生成と定量的指標の双方を用いて評価する。クロス生成の一貫性と潜在空間の線形分離性を含む。

実験結果

リサーチクエスチョン

• RQ1 混合専門家 variational posterior は、共有情報とプライベート情報を分離する潜在因子分解を実現できるか？
• RQ2 MMVAE モデルはモダリティ間で一貫した結合生成と、モダリティ間で一貫したクロス生成を生み出すか？
• RQ3 マルチモーダル訓練は単一モダリティの生成を向上させる（シナジー）か、それを妨げるか？
• RQ4 クロス生成の一貫性と潜在表現の質の点で、MMVAE は PoE-based MVAE とどのように比較されるか？
• RQ5 単一の MMVAE フレームワーク内で image↔language の変換は実現可能で一貫しているか？

主な発見

• MMVAE は、MNIST/SVHN 全体でより識別性の高い潜在表現を示すことにより、単一モダリティVAEsおよび PoE を用いた MVAE より良い潜在因子分解を達成する。
• 結合生成の一貫性は、MVAE より MMVAE の方が高いモダリティ間整合性を示し、クロス生成一貫性指標の向上で実証される。
• クロス生成の結果は、MMVAE がモダリティ間で意味的に一貫したデータを生成できることを示す（例: SVHN を条件とした MNIST の数字、そしてその逆など）。
• CUB では、MMVAE は結合画像-キャプションの一貫性を生み出し、クロス生成は画像内容に整合したキャプションを生成し、その逆も可能。
• MVAE と比較して、MMVAE は CUB および MNIST–SVHN タスクにおいてより高い結合生成相関を示し、モダリティ間の統合と情報の活用が改善されていることを示す。