[論文レビュー] MHVAE: a Human-Inspired Deep Hierarchical Generative Model for Multimodal Representation Learning

Miguel Vasco, Francisco S. Melo+1 more|arXiv (Cornell University)|Jun 4, 2020

Topic Modeling参考文献 29被引用数 4

ひとこと要約

MHVAEは、人間の認知プロセスを模倣した階層的変分オートエンコーダーを提案し、モダリティ固有の表現と統合されたマルチモーダル表現を学習することで、頑健なクロスモダリティ推論を実現する。モダリティ固有の表現ドロップアウトを用いて結合事後分布を近似することで、最小限の計算コストで、モダリティ固有の再構成およびクロスモダリティ生成において最先端の性能を達成する。

ABSTRACT

Humans are able to create rich representations of their external reality. Their internal representations allow for cross-modality inference, where available perceptions can induce the perceptual experience of missing input modalities. In this paper, we contribute the Multimodal Hierarchical Variational Auto-encoder (MHVAE), a hierarchical multimodal generative model for representation learning. Inspired by human cognitive models, the MHVAE is able to learn modality-specific distributions, of an arbitrary number of modalities, and a joint-modality distribution, responsible for cross-modality inference. We formally derive the model's evidence lower bound and propose a novel methodology to approximate the joint-modality posterior based on modality-specific representation dropout. We evaluate the MHVAE on standard multimodal datasets. Our model performs on par with other state-of-the-art generative models regarding joint-modality reconstruction from arbitrary input modalities and cross-modality inference.

研究の動機と目的

• 複数の感覚モダリティにわたる階層的表現を学習することで、人間の認知処理を模倣するマルチモーダル生成モデルの開発。
• 入力が部分的に欠損している状況でも、欠損モダリティを再構成できるクロスモダリティ推論を可能にするため、モダリティ固有分布と結合分布を同時にモデル化すること。
• すべてのモダリティを1つの共有空間に押し込める単一潜在空間モデルの制限を解消し、表現能力を損なわないこと。
• 任意の数のモダリティにスケーラブルな、結合モダリティ分布の効率的な事後分布近似法を提案すること。
• 標準ベンチマーク上でモデルを評価し、再構成およびクロスモダリティ生成において優れた性能を示すこと。

提案手法

• MHVAEは、Convergence-Divergence Zone (CDZ) 認知モデルを模倣した、モダリティ固有のエンコーダーと共有された結合符号化層を有する階層的アーキテクチャを採用する。
• 階層的マルチモーダル設定に適合した明示的な導出に基づき、尤度下界（ELBO）を最適化するための変分推論フレームワークを用いる。
• 新規の事後分布近似法として、追加の推論ネットワークを必要とせず、効果的な結合事後分布推定を可能にする「モダリティ固有の表現ドロップアウト」を導入する。
• バックプロパゲーションを用いたエンドツーエンド学習により、ドロップアウト機構が最適化中にクロスモダリティ一般化を促進する。
• 任意の数の入力モダリティをサポートし、モダリティ固有の表現能力を維持しながら、結合推論を可能にする。
• 階層的構造とドロップアウトに基づく事後分布近似により、高価なペアワイズ発散項を回避する。

実験結果

リサーチクエスチョン

• RQ1 階層的生成モデルは、単一潜在空間モデルに比べ、マルチモーダル表現学習で優れた性能を示せるか？
• RQ2 複数のモダリティにわたって、スケーラブルに効果的にクロスモダリティ推論を学習・最適化できるか？
• RQ3 モダリティ固有の表現ドロップアウトは、結合モダリティ事後分布の近似に効果的かつ効率的な手法とみなせるか？
• RQ4 MHVAEは、標準ベンチマークにおいて、最先端のモデルに比べて再構成およびクロスモダリティ生成で優れた性能を示すか？
• RQ5 CelebAのような複雑なデータセットにおいて、表現空間の次元数は性能にどのように影響するか？

主な発見

• MNISTおよびFashionMNISTにおいて、MHVAEは、低い次元の表現空間であっても、モダリティ固有の再構成で最先端の性能を達成する。
• CelebAデータセットでは、MHVAEは他の最先端モデルと同等の水準で、結合モダリティ再構成およびクロスモダリティ推論を実現する。
• ラベルベースの評価による測定において、MHVAEはMVAEモデルを上回るクロスモダリティ推論性能を示す。
• 提案されたモダリティ固有の表現ドロップアウト手法により、最小限の計算オーバーヘッドで効率的な結合事後分布近似が可能になる。
• 階層的設計により、モダリティ固有の表現能力を保持しつつ、入力が不完全な状況下でも頑健なクロスモダリティ生成が可能になる。
• モジュラーなアーキテクチャと効率的な事後分布近似のおかげで、任意の数のモダリティへの一般化とスケーラビリティが顕著に向上する。