[論文レビュー] Multimodal Variational Autoencoders for Semi-Supervised Learning: In Defense of Product-of-Experts

Svetlana Kutuzova, Oswin Krause+3 more|arXiv (Cornell University)|Jan 18, 2021

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 5

ひとこと要約

本稿では、連合表現学習を向上させるために公理的原則を活用する、マルチモーダル半教師付き学習のための新規な製品の専門家（PoE）変分オートエンコーダー、SVAEを提案する。SVAEは、画像、テキスト、質量分析スペクトルデータなど高次元モダリティにおいて、特に低教師あり条件下でも一貫性があり条件付きのサンプルを生成する点で、混合専門家（MoE）モデルおよび先行PoEモデルを上回る性能を発揮する。

ABSTRACT

Multimodal generative models should be able to learn a meaningful latent representation that enables a coherent joint generation of all modalities (e.g., images and text). Many applications also require the ability to accurately sample modalities conditioned on observations of a subset of the modalities. Often not all modalities may be observed for all training data points, so semi-supervised learning should be possible. In this study, we propose a novel product-of-experts (PoE) based variational autoencoder that have these desired properties. We benchmark it against a mixture-of-experts (MoE) approach and an approach of combining the modalities with an additional encoder network. An empirical evaluation shows that the PoE based models can outperform the contrasted models. Our experiments support the intuition that PoE models are more suited for a conjunctive combination of modalities.

研究の動機と目的

• トレーニング中に観測されるモダリティのサブセットがある状況下で、マルチモーダルデータにおける意味のある連合潜在表現を学習する課題に対処すること。
• 混合専門家（MoE）アーキテクチャがマルチモーダルVAEに本当に不適切であるかどうかを検証し、先行研究がMoEが優れていると主張するのに対抗すること。
• 正確な条件付き生成と高次元モダリティにおける半教師付き学習を可能にする、理論的裏付けのあるPoEベースのVAE（SVAE）を開発すること。
• 合成データおよび実世界のデータセット（画像-テキストおよび質量分析スペクトル-分子フィンガープrintタスクを含む）において、PoEベースのモデルがMoEおよび先行PoEモデルを上回る性能を示すかを評価すること。

提案手法

• SVAEは、潜在空間における複数モダリティの一貫性および一貫性のある統合を保証するために、公理的原則に基づいて導出される。
• 各モダリティに対して個別のエンコーダーを採用し、共同事後分布を個々の専門家の事後分布の積として形成する。
• 再パラメータライゼーションのテクニックを適用することで、バックプロパゲーションによるエンドツーエンドの学習が可能となり、変分下界の勾配ベース最適化が可能になる。
• 観測されたモダリティをもとに共同事後分布からサンプリングすることで、条件付き生成が可能となり、未観測モダリティの再構成と生成が可能になる。
• モデルは3モダリティに拡張され、パラメータ効率を維持しながら再構成性能が向上する。
• 各サンプルで観測されるモダリティのサブセットがある状況下で、ペairedおよびunpairedデータの両方を用いてトレーニングすることで、半教師付き学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 製品の専門家（PoE）変分オートエンコーダーは、マルチモーダル半教師付き学習において、混合専門家（MoE）アプローチを上回ることができるか？
• RQ2 PoEベースのSVAEモデルは、VAEVAEやMVAEといった先行PoEモデルと比較して、より優れた連合表現学習および条件付き生成を達成できるか？
• RQ3 特にペアリングされたデータの割合が小さいような低教師あり条件下で、PoEベースのモデルはどれほど一般化性能を発揮するか？
• RQ4 PoEベースのモデルは、質量分析スペクトルや分子フィンガープrintなど、実世界の高次元マルチモーダルデータを効果的に処理できるか？
• RQ5 SVAEの公理的導出は、ヒューリスティックなPoE設計と比較して、性能向上およびパラメータ効率の向上に寄与するか？

主な発見

• MNISTベースの半分の数字画像タスクにおいて、PoEベースのモデル（SVAEおよびVAEVAE）は、低教師あり状態下で顕著にMoEベースのMMVAEを上回った。
• 画像-テキスト生成タスクにおいて、VAEVAEは完全教師あり状態下でFID、CLIP、クロスコherenceの3つの指標すべてでMMVAEを上回り、PoEモデルは優れたクロスコherenceを示した。
• Tandem質量分析スペクトルから分子フィンガープリントを予測する実世界のバイオインフォマティクスタスクにおいて、SVAEはVAEVAEを上回り、CASMI2017チャレンジにおいて候補分子同定のランク精度が高かった。
• SVAEは、VAEVAEよりも少ないパラメータで個々のモダリティの再構成性能が優れており、パラメータ効率の向上を示した。
• 3モダリティへの拡張において、SVAEはすべてのモダリティで優れた性能を示し、モデルの複雑さが低減された。これはスケーラビリティおよびロバストネスを確認するものであった。
• 実験的結果は、PoEがマルチモーダルVAEに不適切であるという主張を反証し、モダリティの論理的積（AND型）統合にPoEの使用を支持するものであった。