[論文レビュー] Group Gated Fusion on Attention-based Bidirectional Alignment for Multimodal Emotion Recognition

Pengfei Liu, Kun Li+1 more|arXiv (Cornell University)|Jan 17, 2022

Emotion and Mood Recognition被引用数 9

ひとこと要約

本稿では、音声とテキスト表現間の注目ベースの双方向アライメントと、新規のグループゲートドフィュージョン（GGF）層を用いてモダリティ寄与を動的に重み付ける、マルチモーダル感情認識モデルであるゲート付き双方向アライメントネットワーク（GBAN）を提案する。GBANは、IEMOCAPデータセットにおいて最先端の性能を達成し、重み付き正解率72.39％を記録した。

ABSTRACT

Emotion recognition is a challenging and actively-studied research area that plays a critical role in emotion-aware human-computer interaction systems. In a multimodal setting, temporal alignment between different modalities has not been well investigated yet. This paper presents a new model named as Gated Bidirectional Alignment Network (GBAN), which consists of an attention-based bidirectional alignment network over LSTM hidden states to explicitly capture the alignment relationship between speech and text, and a novel group gated fusion (GGF) layer to integrate the representations of different modalities. We empirically show that the attention-aligned representations outperform the last-hidden-states of LSTM significantly, and the proposed GBAN model outperforms existing state-of-the-art multimodal approaches on the IEMOCAP dataset.

研究の動機と目的

• マルチモーダル感情認識において、音声とテキストの間の時間的アライメントを明示的にモデル化する欠如を是正すること。
• 音声とテキストのシーケンス間の双方向的依存関係を捉えることで表現学習を向上させること。
• 異なるモダリティからの寄与を動的に重み付ける、より効果的で解釈可能なフィュージョン機構を構築すること。
• 既存の最先端モデルを上回る性能を、マルチモーダル感情認識のIEMOCAPベンチマークで達成すること。

提案手法

• 音声およびテキストモダリティからの階層的表現を抽出するために、分離されたCNN-LSTMエンコーダを採用する。
• 音声からテキストへ、および逆にテキストから音声へ注目を向けながら、クロスモダリティ依存関係を学習する注目ベースの双方向アライメントネットワークを適用する。
• グループ化された表現（例：注目出力および隠れ状態）にシグモイドゲートを適用することで、モダリティ固有の重みを計算するグループゲートドフィュージョン（GGF）層を導入する。
• 学習可能なゲーティングメカニズムを用いて、感情分類の過程で各モダリティの重要性を自動的に特定可能にする。
• GGF層を、音声およびテキストの注目出力（a_s, a_t）とそれらに対応するLSTM隠れ状態（h_s, h_t）の4つの入力表現に適用する。
• IEMOCAPデータセット上で5分割交差検証を用い、交差エントロピー損失を用いてモデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 音声とテキスト間の双方向注目アライメントは、単方向またはアライメントなしのモデルに比べ、より判別性の高い表現をもたらすか？
• RQ2 グループゲートドフィュージョン機構は、連結やテンソルフィュージョンに比べ、効果的かつ解釈可能にマルチモーダル表現を統合できるか？
• RQ3 マルチモーダル環境下で、異なる感情カテゴリにおいて音声とテキストモダリティの寄与度はどのように変化するか？
• RQ4 提案されたGBANモデルは、既存のマルチモーダル感情認識手法と比較して、IEMOCAPベンチマークで最先端の性能を達成できるか？

主な発見

• 提案された双方向注目ベースのアライメントネットワークは、表現品質を著しく向上させ、最後のLSTM隠れ状態のみを用いるモデルを上回った。
• グループゲートドフィュージョン（GGF）層は、全フィュージョン手法の中で最高の性能を達成し、IEMOCAPデータセットで重み付き正解率72.39％を記録した。
• テキストモダリティの表現（a_tおよびh_t）は、音声モダリティの表現（a_sおよびh_s）よりも常に高いフィュージョン重みを獲得しており、感情認識におけるその高い判別力が示された。
• BiAtt-TFL や BiAtt-GMU といった既存の最先端モデルを上回り、IEMOCAPで重み付き正解率72.39％、不加重正解率70.08％を達成した。
• GGF層は解釈可能なモダリティ寄与重みを提供し、各予測におけるどのモダリティが最も影響力であるかを分析可能にした。
• IEMOCAPのような小さなデータセットでさえも、GGF機構は単純な連結ベースのフィュージョンを上回った。これは、そのロバストネスと表現力の高さを示している。