[論文レビュー] Modality to Modality Translation: An Adversarial Representation Learning and Graph Fusion Network for Multimodal Fusion

Sijie Mai, Haifeng Hu+1 more|arXiv (Cornell University)|Nov 18, 2019

Human Pose and Action Recognition参考文献 42被引用数 19

ひとこと要約

本論文は、異種モダリティ間の分布差を是正するための敵対的トレーニングにより、モダリティに依存しない埋め込み空間を学習する敵対的表現グラフ統合（ARGF）フレームワークを提案する。その後、単モダリティ、二モダリティ、三モダリティの相互作用を明示的にモデル化する階層的グラフ統合ネットワーク（GFN）を用いる。本手法は、IEMOCAPおよびCMU-MOSIデータセットにおいて最先端の性能を達成し、先行手法と比較してそれぞれ2%以上、1%以上の向上を示した。

ABSTRACT

Learning joint embedding space for various modalities is of vital importance for multimodal fusion. Mainstream modality fusion approaches fail to achieve this goal, leaving a modality gap which heavily affects cross-modal fusion. In this paper, we propose a novel adversarial encoder-decoder-classifier framework to learn a modality-invariant embedding space. Since the distributions of various modalities vary in nature, to reduce the modality gap, we translate the distributions of source modalities into that of target modality via their respective encoders using adversarial training. Furthermore, we exert additional constraints on embedding space by introducing reconstruction loss and classification loss. Then we fuse the encoded representations using hierarchical graph neural network which explicitly explores unimodal, bimodal and trimodal interactions in multi-stage. Our method achieves state-of-the-art performance on multiple datasets. Visualization of the learned embeddings suggests that the joint embedding space learned by our method is discriminative. code is available at: \url{https://github.com/TmacMai/ARGF_multimodal_fusion}

研究の動機と目的

• マルチモーダル統合における異種モダリティ間の分布差を是正すること。
• クロスモーダルな適合性と表現の識別能を向上させるために、統合的でモダリティに依存しない埋め込み空間を学習すること。
• 構造的なグラフ統合メカニズムを通じて、単モダリティ、二モダリティ、三モダリティの階層的クロスモーダル相互作用を明示的にモデル化すること。
• 敵対的分布マッチング、再構成、分類損失を通じてマルチモーダル統合の性能を向上させること。

提案手法

• ソースモダリティの分布をターゲットモダリティの分布に一致させるために、識別的トレーニングを用いた敵対的エンコーダ-デコーダ-分類器フレームワークを採用する。
• エンコーダーがその表現を「ターゲットモダリティのサンプル」として分類器に誤認させることを最適化することで、敵対的トレーニングを実施する。
• 各モダリティ固有のデコーダーを導入し、入力特徴を再構成することで、埋め込み学習中に単モダリティの情報を保持する。
• 分類器ヘッドを実装し、学習された埋め込み空間が下流タスクに対して識別的であることを保証する。
• 3層構造（単モダリティ、二モダリティ、三モダリティ頂点）を持つ階層的グラフ統合ネットワーク（GFN）を採用し、クロスモーダルダイナミクスの構造的統合を可能にする。
• グラフエッジに学習可能な重みを割り当て、異なる相互作用タイプに対する動的重み割り当てを可能にするとともに、解釈可能な統合を実現する。

実験結果

リサーチクエスチョン

• RQ1 異種モダリティの分布を一致させることで、敵対的トレーニングがモダリティギャップを効果的に低減できるか？
• RQ2 再構成損失と分類損失を併用した統合的埋め込み学習は、マルチモーダル統合における表現品質をどのように向上させるか？
• RQ3 階層的グラフ統合ネットワークは、単モダリティ、二モダリティ、三モダリティの相互作用を明示的にモデル化し、性能向上を実現できるか？
• RQ4 提案フレームワークは、マルチモーダル感情分析タスクにおいて、既存の統合戦略を上回る性能を示せるか？
• RQ5 可視化により、学習された埋め込み空間がどの程度識別的かつ解釈可能であるか？

主な発見

• ARGFは、IEMOCAPおよびCMU-MOSIデータセットにおいて最先端の性能を達成し、先行手法と比較してそれぞれ2%以上、1%以上の精度向上を示した。
• 学習された埋め込み空間の可視化により、肯定的・否定的感情のクラスタが明確に分離されており、高い識別力が示された。
• 分類器を含まない埋め込み空間では、感情クラスを効果的に区別できなかったため、識別的学習には分類損失の必要性が示された。
• グラフ統合の可視化から、単モダリティ統合では言語モダリティが最も予測力が高く、言語が曖昧な場合には他のモダリティが優位に働くことがわかった。
• 二モダリティ統合では、音声-言語および視覚-言語の相互作用に高い重みが割り当てられており、感情予測への寄与が強いことが示された。
• 三モダリティ統合では、二つの二モダリティ頂点の統合が支配的であり、二モダリティ相互作用ペairのモデル化の重要性が浮き彫りになった。これは、DFGが捉えきれていない点である。