[論文レビュー] HCAM -- Hierarchical Cross Attention Model for Multi-modal Emotion Recognition

Soumya Dutta, Sriram Ganapathy|arXiv (Cornell University)|Apr 14, 2023

Emotion and Mood Recognition被引用数 11

ひとこと要約

HCAMは、音声（wav2vec）とテキスト（RoBERTa）を co-attention モジュールで統合する階層型マルチモーダルフレームワークを提示し、3段階の supervised contrastive loss を用いた学習で、IEMOCAP、MELD、CMU-MOSI において最先端の結果を達成します。

ABSTRACT

Emotion recognition in conversations is challenging due to the multi-modal nature of the emotion expression. We propose a hierarchical cross-attention model (HCAM) approach to multi-modal emotion recognition using a combination of recurrent and co-attention neural network models. The input to the model consists of two modalities, i) audio data, processed through a learnable wav2vec approach and, ii) text data represented using a bidirectional encoder representations from transformers (BERT) model. The audio and text representations are processed using a set of bi-directional recurrent neural network layers with self-attention that converts each utterance in a given conversation to a fixed dimensional embedding. In order to incorporate contextual knowledge and the information across the two modalities, the audio and text embeddings are combined using a co-attention layer that attempts to weigh the utterance level embeddings relevant to the task of emotion recognition. The neural network parameters in the audio layers, text layers as well as the multi-modal co-attention layers, are hierarchically trained for the emotion classification task. We perform experiments on three established datasets namely, IEMOCAP, MELD and CMU-MOSI, where we illustrate that the proposed model improves significantly over other benchmarks and helps achieve state-of-art results on all these datasets.

研究の動機と目的

• 会話における感情認識を、マルチモーダル信号（音声とテキスト）を活用して解決する。
• まず単一モーダルの utterance embeddings を学習する階層的な訓練パイプラインを導入し、次に文脈を取り込み、最後にクロスモーダル融合を行う。
• hardな例の学習を改善するために、クロスエントロピーに加えて監督付き対比損失を探索する。
• このアプローチを IEMOCAP、MELD、CMU-MOSI で評価し、ベースラインや従来の最先端と比較して改善を示す。
• テキストモダリティの ASR 転写への頑健性を評価する。

提案手法

• 学習可能な wav2vec 2.0 ベースのフロントエンドで音声を処理し、フレーム間のトランスフォーマー層出力を合計した後、1-D CNN と utterance-level pooling を適用して音声埋め込みを生成する。
• RoBERTa embeddings（最後の4層）と bi-GRU を用いて utterance-level テキスト埋め込みを形成し、完全なファインチューニングを行う。
• Stage II では、各モダリティの発話間文脈を自己注意機構でコード化する contextual-GRU を用いる。
• Stage III では cross-attention と self-attention ブロックからなる co-attention ネットワークを用いてモダリティを融合し、ジョイントなマルチモーダル表現を生成する。
• 損失 Ltot = beta·CE + (1−beta)·Lsup-con を用いて各段階を訓練し、Lsup-con はバッチ内の utterances across に対する監督付き対比損失である。
• 推論時には stage-wise な出力を音声、テキスト、co-attention モジュールに対して重み付けして予測をアンサンブルする。

Figure 1 : Block diagram of the proposed model. Here, $S_{1}$ , $S_{2}$ and $S_{3}$ refer to the speech utterances in a conversation. Similarly, the $T_{1}$ , $T_{2}$ and $T_{3}$ refer to the text transcripts for the corresponding speech signals. $\hat{Y_{1}}$ , $\hat{Y_{2}}$ and $\hat{Y_{3}}$ refer

実験結果

リサーチクエスチョン

• RQ1 階層的で段階的な訓練 regime は、uttering-level・文脈・クロスモーダル情報を段階的に取り入れることによって ERC を改善できるか？
• RQ2 co-attention は diverse datasets における会話の感情認識のために音声とテキストモダリティを効果的に融合できるか？
• RQ3 監督付き対比損失を組み込むことで ERC タスクの学習と性能が改善されるか？
• RQ4 テスト時の ASR ベースの転写に対して HCAM はどれくらい頑健か？

主な発見

• Stage I (audio) は IEMOCAP で 64.3%（4-way）および 64.4%（テーブルの stage I テキスト配置を含む 4-way）加重 F1 を達成；TODAY の値は論文が報告したモダリティ別の数値を反映している。
• Stage II (contextual audio) は IEMOCAP 4-way で 78.7%； IEMOCAP 6-way で 65.7%； データセット全体で Stage I より +14 〜 +19 ポイントの改善。
• Stage I (text) は IEMOCAP 4-way で 68.4%； RoBERTa ベースの埋め込みをファインチューニング後 CMU-MOSI で 84.3% を達成； Stage II text は IEMOCAP 4-way で 81.4%； CMU-MOSI で 85.4% の値。
• Stage III のマルチモーダル融合（音声+テキスト）は IEMOCAP 4-way で 85.9%； IEMOCAP 6-way で 70.5%； MELD 7-way で 65.8%； CMU-MOSI で 85.8% を達成。
• HCAM は従来の手法と比較して IEMOCAP、MELD、CMU-MOSI において最先端のマルチモーダル融合結果を達成している。
• テスト時の ASR 転写は IEMOCAP 4-way で 84.6%、 CMU-MOSI で 65.8% の相対的な値を示し、元のテキスト結果より一部設定でわずかに低下する。

Figure 2 : Block diagram of the contextual GRU with self-attention. Here, $U_{T}$ , $U_{T\pm 1}$ and $U_{T\pm 2}$ refer to the uni-modal embeddings from stage I of the model for each utterance in the conversation.