[論文レビュー] GA2MIF: Graph and Attention Based Two-Stage Multi-Source Information Fusion for Conversational Emotion Detection

Jiang Li, Xiaoping Wang+2 more|arXiv (Cornell University)|Jul 25, 2022

Sentiment Analysis and Opinion Mining参考文献 48被引用数 4

ひとこと要約

本論文では、会話的感情認識のための2段階マルチモーダル統合フレームワークGA2MIFを提案する。このフレームワークは、モダリティ内コンテキストモデリングにマルチヘッド指向グラフアテンション（MDGAT）を、モダリティ間相互作用にマルチヘッドペairワイズクロスモダルアテンション（MPCAT）を用いる。コンテキストウィンドウを活用することで冗長な接続を低減し、異種モダリティ入力の問題を回避することで、IEMOCAPデータセット上で70.00%の最先端（SOTA）の重み付きF1スコアを達成し、先行SOTAモデルを顕著に上回った。

ABSTRACT

Multimodal Emotion Recognition in Conversation (ERC) plays an influential role in the field of human-computer interaction and conversational robotics since it can motivate machines to provide empathetic services. Multimodal data modeling is an up-and-coming research area in recent years, which is inspired by human capability to integrate multiple senses. Several graph-based approaches claim to capture interactive information between modalities, but the heterogeneity of multimodal data makes these methods prohibit optimal solutions. In this work, we introduce a multimodal fusion approach named Graph and Attention based Two-stage Multi-source Information Fusion (GA2MIF) for emotion detection in conversation. Our proposed method circumvents the problem of taking heterogeneous graph as input to the model while eliminating complex redundant connections in the construction of graph. GA2MIF focuses on contextual modeling and cross-modal modeling through leveraging Multi-head Directed Graph ATtention networks (MDGATs) and Multi-head Pairwise Cross-modal ATtention networks (MPCATs), respectively. Extensive experiments on two public datasets (i.e., IEMOCAP and MELD) demonstrate that the proposed GA2MIF has the capacity to validly capture intra-modal long-range contextual information and inter-modal complementary information, as well as outperforms the prevalent State-Of-The-Art (SOTA) models by a remarkable margin.

研究の動機と目的

• 異種モダリティ入力と冗長なグラフ接続の問題を抱える既存のマルチモーダル会話的感情認識モデルの限界を解消すること。
• 各モダリティ内の長距離コンテキスト依存性と、モダリティ間の補完的情報を効果的にモデル化することで、感情認識の精度を向上させること。
• すべてのモダリティを同種のノードとして扱うMMGCNのような先行グラフベースモデルがGNNの仮定に反する点を是正すること。
• 洗練されたアテンション機構と構造的統合により、類似した感情（例：Sad と Frustrated）の誤分類を低減すること。
• IEMOCAPおよびMELDの公開ベンチマークにおいて、2モダリティおよび3モダリティ設定の両方で優れた性能を示すこと。

提案手法

• テキスト、音声、ビジュアルモダリティそれぞれに対して、マルチヘッド指向グラフアテンションネットワーク（MDGAT）を用いてモダリティ内長距離依存性をモデル化する。
• 完全接続グラフではなく、文脈ウィンドウを活用して冗長でない意味のあるエッジを文脈間で構築することで、冗長性を低減する。
• 異なるモダリティ間の補完的相互作用を文単位で捉えるために、マルチヘッドペアワイズクロスモダルアテンションネットワーク（MPCAT）を適用する。
• MDGATの特徴集約を強化するために、新しい和積更新関数を設計する。
• 2段階統合戦略を実装する：まずMDGATでモダリティ内コンテキストをモデル化し、次にMPCATでモダリティ間統合を実現し、クロスモダル理解を達成する。
• アテンション機構が時間的およびモダリティ的側面で関連する特徴を動的に重みづけする、モダリティ固有の埋め込みを入力として使用する。

実験結果

リサーチクエスチョン

• RQ1 2段階のグラフとアテンションに基づく統合フレームワークは、マルチモーダル会話データにおけるモダリティ内長距離依存性を効果的にモデル化できるか？
• RQ2 完全接続グラフと比較して、エッジ構築に文脈ウィンドウを用いることで、冗長性を低減しつつ重要なコンテキスト関係を保持できるか？
• RQ3 MDGATとMPCATが、同種グラフベースモデルと比較して、クロスモダル相互作用と感情認識性能をどの程度向上できるか？
• RQ4 提案されたGA2MIFモデルは、SadとFrustratedのような類似感情の誤分類を、既存のSOTAモデルと比較して低減できるか？
• RQ5 ベンチマークデータセット（例：テキスト-音声、テキスト-ビジュアル、3モダリティ統合）において、異なるモダリティ組み合わせでのモデルの性能はいかがなっているか？

主な発見

• GA2MIFは、IEMOCAPデータセットで3モダリティ設定下で70.00%の重み付きF1スコアを達成し、MMGCNを含むすべてのベースラインモデルを顕著に上回った。
• IEMOCAPデータセットにおいて、音声-テキスト設定では67.47%の正答率と67.49%のF1スコアを記録し、ビジュアル-テキスト設定よりもそれぞれ7.77ポイントおよび7.64ポイント高い。
• MMGCNと比較して、真のラベルがSadであるものをFrustratedと誤分類する割合を7.75%低減し、15.51%から7.76%に低下させた。
• IEMOCAPおよびMELDの両データセットにおいて、3モダリティ設定が、すべての2モダリティ設定を常に上回り、完全なマルチモーダル統合の利点を裏付けた。
• GA2MIFは、IEMOCAPおよびMELDの両データセットで、一貫した正答率およびF1スコアの向上を示し、高いロバスト性と一般化性能を示した。
• アブレーションスタディにより、MDGATとMPCATの両方が性能向上に寄与していることが確認され、文脈ウィンドウ機構が冗長な接続を効果的に低減しつつ、モデル容量を損なわないことが示された。