[論文レビュー] Learning Factorized Multimodal Representations

Yao-Hung Hubert Tsai, Paul Pu Liang+3 more|arXiv (Cornell University)|Jun 16, 2018

Sentiment Analysis and Opinion Mining参考文献 74被引用数 197

ひとこと要約

本論文は Multimodal Factorization Model (MFM) を提案し、表現をマルチモーダル識別因子とモダリティ固有の生成因子へ因子分解し、予測を改善し欠損モダリティ再構成を可能にする、共同生成・識別目的を最適化する。

ABSTRACT

Learning multimodal representations is a fundamentally complex research problem due to the presence of multiple heterogeneous sources of information. Although the presence of multiple modalities provides additional valuable information, there are two key challenges to address when learning from multimodal data: 1) models must learn the complex intra-modal and cross-modal interactions for prediction and 2) models must be robust to unexpected missing or noisy modalities during testing. In this paper, we propose to optimize for a joint generative-discriminative objective across multimodal data and labels. We introduce a model that factorizes representations into two sets of independent factors: multimodal discriminative and modality-specific generative factors. Multimodal discriminative factors are shared across all modalities and contain joint multimodal features required for discriminative tasks such as sentiment prediction. Modality-specific generative factors are unique for each modality and contain the information required for generating data. Experimental results show that our model is able to learn meaningful multimodal representations that achieve state-of-the-art or competitive performance on six multimodal datasets. Our model demonstrates flexible generative capabilities by conditioning on independent factors and can reconstruct missing modalities without significantly impacting performance. Lastly, we interpret our factorized representations to understand the interactions that influence multimodal learning.

研究の動機と目的

• prediction のためのリッチな intra- および cross-modal 表現の学習という課題に取り組む。
• テスト時にモダリティが欠損したりノイズが多い場合でも頑健なモデルを開発する。
• 表現を共有するマルチモーダル識別因子とモダリティ固有の生成因子へ因子分解する。
• 独立した潜在因子を条件付けることで柔軟な生成と再構成を可能にする。
• 学習した因子分解表現の解釈性を提供する。

提案手法

• 潜在変数 Z = [Z_y, Z_a1,...,Z_aM] を用いて識別因子 F_y とモダリティ固有の生成因子 F_a{1:M} を生成する Multimodal Factorization Model (MFM) を提案する。
• 因子分解により P(X_hat_{1:M}, Y_hat) = ∫ P(X_hat_{1:M}, Y_hat | F) P(F | Z) P(Z) dF dZ を得る。ただし F_y と F_a はそれぞれ対応する。
• P(X_{1:M}, Y) と P(X_hat_{1:M}, Y_hat) を整列させるジョイント・ディストリビューション Wasserstein 距離目的を用い、一般化平均場推論 Q(Z | X_{1:M}, Y) で近似する。
• 観測されたモダリティを用いて欠損モダリティを再構成し、ラベルを予測する代替推論ネットワークを採用する。
• エンコーダ Q(Z_y | X_{1:M}) と Q(Z_a_i | X_i)、デコーダ G_y, G_a_i, D、F_• を用いて再構成と予測を行う。
• モダリティ再構成の生成的損失とラベル予測の識別的損失を組み合わせたハイブリッド目的関数で訓練する。
• MFN、EF-LSTM、TFN などさまざまなマルチモーダルエンコーダと組み合わせることでモデルに依存しない適用性を示す。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル表現を共有の識別因子とモダリティ固有の生成因子へ因子分解することで、データセット全体の識別性能を改善できるか。
• RQ2 いくつかのモダリティがテスト時に欠損しても、因子分解は堅牢な再構成と予測を可能にするか。
• RQ3 潜在因子はマルチモーダル相互作用および各モダリティの寄与について解釈可能な洞察を提供するか。
• RQ4 このアプローチは異なるマルチモーダルエンコーダや時系列モダリティと互換性があるか。
• RQ5 因子分解と生成/識別成分のアブレーションは性能にどのような影響を与えるか。

主な発見

• MFM は6つのマルチモーダルデータセット（時系列および合成画像データ）で最先端または競合的な結果を達成する。
• マルチモーダル識別因子とモダリティ固有の生成因子への因子化は、再構成と予測の双方を改善する。
• 欠損モダリティ再構成を、予測性能の損失を最小限に抑えつつサポートし、再構成と感情予測の点で純生成型または純識別型のベースラインを上回る。
• 生成的再構成と識別的予測を組み合わせたハイブリッド目的は、純識別型または純生成型の変種より良い結果を示す。
• アブレーション研究は各設計要素の利点を示し、モダリティ固有の生成因子と因子分解表現が最も大きな改善をもたらす。
• 解釈手法（情報理論的および勾配ベース）は、CMU-MOSI における感情予測において言語が主要な寄与を示し、生成出力に対する因子の影響を示す。