[論文レビュー] MTGAT: Multimodal Temporal Graph Attention Networks for Unaligned Human Multimodal Language Sequences.

Jianing Yang, Yongxin Wang+6 more|arXiv (Cornell University)|Oct 22, 2020

Sentiment Analysis and Opinion Mining被引用数 9

ひとこと要約

MTGATは、非同期なマルチモーダルな人間の言語シーケンスを、異種時系列グラフに変換することで、マルチモーダル時系列グラフアテンションを用いて顕著な相互作用に焦点を当てる、画期的なグラフベースのニューラルネットワークを提案する。IEMOCAPおよびCMU-MOSIで最先端の性能を達成し、計算コストを低減する。

ABSTRACT

Human communication is multimodal in nature; it is through multiple modalities, i.e., language, voice, and facial expressions, that opinions and emotions are expressed. Data in this domain exhibits complex multi-relational and temporal interactions. Learning from this data is a fundamentally challenging research problem. In this paper, we propose Multimodal Temporal Graph Attention Networks (MTGAT). MTGAT is an interpretable graph-based neural model that provides a suitable framework for analyzing this type of multimodal sequential data. We first introduce a procedure to convert unaligned multimodal sequence data into a graph with heterogeneous nodes and edges that captures the rich interactions between different modalities through time. Then, a novel graph operation, called Multimodal Temporal Graph Attention, along with a dynamic pruning and read-out technique is designed to efficiently process this multimodal temporal graph. By learning to focus only on the important interactions within the graph, our MTGAT is able to achieve state-of-the-art performance on multimodal sentiment analysis and emotion recognition benchmarks including IEMOCAP and CMU-MOSI, while utilizing significantly fewer computations.

研究の動機と目的

• 言語、声、顔の表情などの、複雑で非同期なマルチモーダル相互作用をモデル化する課題に対処すること。
• 順序データにおける複数モダリティ間の時間的・関係的ダイナミクスを捉えるフレームワークを開発すること。
• 計算負荷を低減しつつ、解釈可能なアテンションを可能にするグラフベースのアーキテクチャを設計すること。

提案手法

• モダリティをノードとし、時間的およびクロスモダリティ的関係をエンコードするエッジを有する非均質的グラフに、非同期なマルチモーダルシーケンスを変換する。
• グラフエッジ上の動的アテンション重みを学習する新しいグラフ演算であるマルチモーダル時系列グラフアテンションを導入する。
• 推論中に重要度が低いエッジを削除する動的プルーニング機構を適用し、計算複雑性を低減しながら性能を損なわないようにする。
• グラフ表現を統合的に統合するためのリードアウト機構を用いて、下流タスク用の統一されたマルチモーダル埋め込みを生成する。
• センチメント分析および感情認識に特化した損失関数を用いて、モデルをエンドツーエンドで訓練する。
• アテンションメカニズムを活用して、予測に最も寄与するモダリティおよび時間ステップを解釈可能に特定する。

実験結果

リサーチクエスチョン

• RQ1 時間的およびクロスモダリティ的依存関係を保持しつつ、非同期なマルチモーダル人間シーケンスを効果的にグラフとしてモデル化する方法は何か？
• RQ2 マルチモーダルデータにおける顕著な相互作用に効率的かつ解釈可能に注目できるグラフベースのアテンション機構は何か？
• RQ3 動的プルーニングは、マルチモーダル理解における高い性能を維持しつつ、計算コストをどの程度低減できるか？
• RQ4 提案されたモデルは、既存の手法を上回る性能をマルチモーダルセンチメントおよび感情認識ベンチマークで示せるか？

主な発見

• MTGATは、マルチモーダルセンチメント分析のためのIEMOCAPベンチマークで最先端の性能を達成した。
• CMU-MOSIデータセットにおけるマルチモーダル感情認識でも、新たな最先端の結果を達成した。
• 高い性能を維持しているにもかかわらず、動的プルーニングのおかげで、先行モデルよりもはるかに少ない計算量で処理が可能となった。
• MTGATのアテンションメカニズムにより、予測に最も寄与するモダリティおよび時間間隔を解釈可能な形で特定できるようになった。
• グラフベースの表現は、非同期なモダリティ間の複雑な多関係的相互作用を効果的に捉えた。
• 動的プルーニング戦略により、計算負荷を低減しながらも予測精度を保持できた。