[論文レビュー] COGMEN: COntextualized GNN based Multimodal Emotion recognitioN

Abhinav Joshi, Ashwani Bhat+3 more|arXiv (Cornell University)|May 5, 2022

Advanced Graph Neural Networks被引用数 8

ひとこと要約

COGMENは、GraphTransformersと自己注意機構を用いて、局所的（話者間・話者内）およびグローバルな会話文脈の両方を捉える、文脈的なGNNベースのマルチモーダル感情認識モデルを提案する。これは、IEMOCAP（4クラス）でF1スコアを7.7%向上させ、アブレーションスタディを通じて局所的およびグローバル情報の重要性を示している。

ABSTRACT

Emotions are an inherent part of human interactions, and consequently, it is imperative to develop AI systems that understand and recognize human emotions. During a conversation involving various people, a person's emotions are influenced by the other speaker's utterances and their own emotional state over the utterances. In this paper, we propose COntextualized Graph Neural Network based Multimodal Emotion recognitioN (COGMEN) system that leverages local information (i.e., inter/intra dependency between speakers) and global information (context). The proposed model uses Graph Neural Network (GNN) based architecture to model the complex dependencies (local and global information) in a conversation. Our model gives state-of-the-art (SOTA) results on IEMOCAP and MOSEI datasets, and detailed ablation experiments show the importance of modeling information at both levels.

研究の動機と目的

• 会話における局所的（話者間・話者内）およびグローバルな会話文脈の両方を捉えるマルチモーダル感情認識システムの開発。
• 従来のRNNベースおよびユニモーダルモデルが、話者間での複雑な感情的ダイナミクスをモデル化する点で抱える限界の解消。
• 統一されたGNNベースのアーキテクチャを用いて、音声、映像、テキストモダリティを統合的に融合することで、感情予測の向上。
• GraphTransformersが会話における人間関係的および話者内感情的依存関係をモデル化する有効性の実証。
• 今後のマルチモーダル感情認識分野における研究の再現可能性を高めるために、コードの公開と再現可能な結果の提供。

提案手法

• モデルは、話者間および話者内感情的ダイナミクスを両方モデル化するため、関係性を表現するGraphTransformersを用いて、発話間の依存関係を符号化する。
• 全会話シーケンスからの長距離グローバル文脈を捉えるために、自己注意機構を採用する。
• テキスト、音声、映像のモダリティ特徴は別々に処理され、その後、グラフ符号化の前段階でラテント相互作用戦略を用いて統合される。
• 共有された感情分類器が、文脈的なグラフ表現から発話ごとの感情ラベルを予測する。
• IEMOCAPおよびMOSEIで、クラスの不均衡を補正するためのフォーカルウェイトを施したクロスエントロピー損失を用いて、エンドツーエンドで訓練される。
• アブレーションスタディにより、GNN、グローバル文脈、マルチモーダル統合の貢献度が、制御された実験を通じて検証される。

実験結果

リサーチクエスチョン

• RQ1 GNNベースのアーキテクチャは、マルチモーダル会話における局所的（話者間・話者内）およびグローバル（会話レベル）の感情的依存関係をどの程度効果的にモデル化できるか？
• RQ2 局所的依存関係とグローバル文脈の両方が、マルチモーダル感情認識性能の向上に果たす相対的寄与度は何か？
• RQ3 マルチモーダル統合は、ユニモーダルまたはイ早朝融合ベースラインを上回る感情認識性能をどの程度向上させるか？
• RQ4 提案されたGraphTransformerベースのアーキテクチャは、RNNベースおよびGCNベースのモデルと比較して、感情的ダイナミクスをどの程度効果的に捉えられるか？
• RQ5 COGMENは、IEMOCAPやMOSEIのような多様なデータセットに対して一般化可能であり、最先端の性能を維持できるか？

主な発見

• COGMENは、前人最高の手法と比較して、IEMOCAP（4クラス）データセットでF1スコアを7.7%の絶対値で向上させた。
• アブレーションスタディにより、局所的（話者依存性）およびグローバル（文脈）情報の両方が不可欠であることが確認され、いずれかの情報が欠落すると性能が著しく低下した。
• IEMOCAPおよびMOSEIの両データセットで、bc-LSTM、Af-CAN、DialogueGCNといった強力なベースラインを上回る性能を示した。
• マルチモーダル統合は一貫して性能向上をもたらし、特にテキスト、音声、映像の3つのモダリティをすべて使用した際の向上幅が最大であった。
• 誤分類の分析から、主に意味的に類似した感情クラス間で誤分類が生じていることが判明し、微細な感情の区別に改善の余地があることが示唆された。
• 限定的な文脈窓を用いたオンライン推論実験では、短い会話では性能が低下した。これは、最適な性能を発揮するには、完全な会話文脈が必要であることを示している。