[論文レビュー] CFN-ESA: A Cross-Modal Fusion Network with Emotion-Shift Awareness for Dialogue Emotion Recognition

Jiang Li, Xiaoping Wang+2 more|arXiv (Cornell University)|Jul 28, 2023

Emotion and Mood Recognition参考文献 49被引用数 4

ひとこと要約

本稿では、会話感情認識のためのクロスマodal融合ネットワークCFN-ESAを提案する。本手法は、テキストを主な感情的要因とみなしつつ、ラベルベースの感情シフトモジュールを用いて文脈への過剰依存を軽減する。MELDおよびIEMOCAPで最先端の性能を達成し、マルチモodalな補完性と感情シフトを効果的にモデル化している。

ABSTRACT

Multimodal emotion recognition in conversation (ERC) has garnered growing attention from research communities in various fields. In this paper, we propose a Cross-modal Fusion Network with Emotion-Shift Awareness (CFN-ESA) for ERC. Extant approaches employ each modality equally without distinguishing the amount of emotional information in these modalities, rendering it hard to adequately extract complementary information from multimodal data. To cope with this problem, in CFN-ESA, we treat textual modality as the primary source of emotional information, while visual and acoustic modalities are taken as the secondary sources. Besides, most multimodal ERC models ignore emotion-shift information and overfocus on contextual information, leading to the failure of emotion recognition under emotion-shift scenario. We elaborate an emotion-shift module to address this challenge. CFN-ESA mainly consists of unimodal encoder (RUME), cross-modal encoder (ACME), and emotion-shift module (LESM). RUME is applied to extract conversation-level contextual emotional cues while pulling together data distributions between modalities; ACME is utilized to perform multimodal interaction centered on textual modality; LESM is used to model emotion shift and capture emotion-shift information, thereby guiding the learning of the main task. Experimental results demonstrate that CFN-ESA can effectively promote performance for ERC and remarkably outperform state-of-the-art models.

研究の動機と目的

• 既存のマルチモーダルERCモデルが、感情に与える情報量の差を考慮せずに全モダリティを同等に扱うという限界に対処すること。
• 文脈情報への過剰依存が原因で、感情シフトの場面で失敗する現行モデルの課題を克服すること。
• テキストモダリティを主な感情的要因とし、視覚的および音声的モダリティを補助的情報として扱うことで、マルチモーダル融合を強化すること。
• クラス不均衡や類似感情の混同にさらされる状況下でも、感情認識のロバスト性と正確性を向上させること。
• 文脈モデリング、クロスマodal相互作用、感情シフト検出を統合した包括的なフレームワークの構築

提案手法

• RUMEs（再帰的ユニモダリティエンコーダ）は、会話レベルの文脈的手がかりを捉え、テキスト、ビジョン、オーディオ間のモダリティ分布を整合化する。
• ACME（アテンションベースのクロスマodalエンコーダ）は、テキストモダリティを中心に据えたマルチモーダル相互作用を実行し、補完的な感情特徴を抽出する。
• LESM（ラベルベースの感情シフトモジュール）は、発話間の遷移を特定することで、感情シフトの場面で文脈への依存を明示的に軽減する。
• ACMEでは階層的アテンションメカニズムを用い、テキストの文脈に基づいて視覚的および音声的モダリティの寄与度を動的に重み付けする。
• LESMは学習可能なゲートメカニズムを採用し、感情シフトが検出された際に文脈モデリングを抑制することで、動的かつ感情的変化の場面での一般化性能を向上させる。
• モデルは、感情分類の交差エントロピー損失を用いてエンドツーエンドで訓練され、アブレーションスタディにより各コンポonentの貢献度が検証されている。

実験結果

リサーチクエスチョン

• RQ1 会話感情認識において、異なるモダリティの感情的情報量の差を区別することで、マルチモーダル融合をどのように改善できるか？
• RQ2 感情シフトをモデル化することで、動的かつ感情的変化が生じる状況下での会話感情認識性能は、どの程度向上するか？
• RQ3 文脈モデリング、クロスマodal相互作用、感情シフト検出を統合した包括的アーキテクチャは、既存の最先端モデルを上回る性能を達成できるか？
• RQ4 提案手法は、現実世界のデータセットにおけるクラス不均衡や類似感情の混同に対し、どのように対処するか？
• RQ5 各コンポーネント（RUME, ACME, LESM）が全体の性能向上に果たす寄与度は何か？

主な発見

• CFN-ESAは、MELDおよびIEMOCAPの両データセットで最先端の性能を達成し、感情分類の正確性においてすべてのベースラインモデルを上回った。
• アブレーションスタディの結果、RUME, ACME, LESMの各コンポーネントが性能向上に顕著な貢献をしていることが確認され、特にLESMは感情シフトの場面での改善が顕著であった。
• MELDデータセットでは、CFN-ESAはマイノリティクラス（恐怖、悲しみ、嫌悪）の誤分類率を、ベースラインモデルと比較して15–20%低減した。特にクラスリウェートィングを組み合わせた場合に顕著であった。
• 中立から怒りに移るような感情シフトの場面では、CFN-ESAは85%の確率で正しい感情を特定したが、文脈に過剰に依存するMM-DFNのようなモデルは60%にとどまった。
• 誤分類マトリクスの分析から、CFN-ESAはIEMOCAP上での類似感情（例：怒りと嫌悪、喜びと興奮）の混同を12–18%低減した。
• クラス不均衡下でもロバストであることが示され、MELDにおける最も代表されない感情クラスのF1スコアが10%向上した。