[論文レビュー] DialogueTRM: Exploring the Intra- and Inter-Modal Emotional Behaviors in the Conversation

Yuzhao Mao, Qi Sun+5 more|arXiv (Cornell University)|Oct 15, 2020

Language, Metaphor, and Cognition参考文献 23被引用数 18

ひとこと要約

本稿では、会話における感情認識のための、モダリティ内コンテキストの好みとモダリティ間の特徴相互作用をモデル化する新しいマルチモーダルトランスフォーマー・アーキテクチャ、DialogueTRM を提案する。階層的トランスフォーマーを用いたモダリティ固有のコンテキスト処理と、ニューロンレベルおよびベクトルレベルのクロスモダリティ注意を実現するマルチグレインインタクティブフィュージョンを統合することで、3つのベンチマークデータセットで最先端の性能を達成し、従来手法を顕著に上回った。

ABSTRACT

Emotion Recognition in Conversations (ERC) is essential for building empathetic human-machine systems. Existing studies on ERC primarily focus on summarizing the context information in a conversation, however, ignoring the differentiated emotional behaviors within and across different modalities. Designing appropriate strategies that fit the differentiated multi-modal emotional behaviors can produce more accurate emotional predictions. Thus, we propose the DialogueTransformer to explore the differentiated emotional behaviors from the intra- and inter-modal perspectives. For intra-modal, we construct a novel Hierarchical Transformer that can easily switch between sequential and feed-forward structures according to the differentiated context preference within each modality. For inter-modal, we constitute a novel Multi-Grained Interactive Fusion that applies both neuron- and vector-grained feature interactions to learn the differentiated contributions across all modalities. Experimental results show that DialogueTRM outperforms the state-of-the-art by a significant margin on three benchmark datasets.

研究の動機と目的

• 既存の会話内感情認識（ERC）モデルが、モダリティ内およびモダリティ間で異なる感情的行動を無視するというギャップを解消すること。
• テキストはコンテキスト依存であるのに対し、ビジュアルおよび音声モダリティはコンテキストフリーであるというモダリティ固有のコンテキスト好みを、階層的トランスフォーマーにおける動的構造スイッチによってモデル化すること。
• ニューロングレインおよびベクトルグレインの両方の特徴相互作用を可能にすることで、マルチモーダルフィュージョンにおけるモダリティ固有の寄与を学習すること。
• モダリティ内での時間的依存関係とモダリティ間での空間的依存関係を同時にモデル化することで、感情予測の正確性を向上させること。

提案手法

• 学習可能なアテンションマスクを備えた階層的トランスフォーマー（HT）を設計し、モダリティ固有のコンテキスト好みに応じて、逐次的（コンテキスト依存）構造とフィードフォワード（コンテキストフリー）構造の間でスイッチ可能にする。
• HT は BERT とトランスフォーマーのコンponents を統合し、適応的なコンテキスト処理を可能にするモダリティ固有の表現を処理する。
• ニューロングレインのフィュージョンに特化したマルチモーダルゲートを用いるマルチグレインインタクティブフィュージョン（MGIF）モジュールを提案する。
• MGIF はトランスフォーマー・エンコーダーを用いてベクトルグレインのフィュージョンを実現し、モダリティ寄与度の動的アテンション重みを学習する。
• 完全な DialogueTRM モデルは HT と MGIF モジュールを統合し、モダリティ内およびモダリティ間の感情的行動モデル化を同時に最適化する。
• クロスエントロピー損失を用い、エアリー・ストッピングを適用して、3つのマルチモーダル ERC ベンチマークでエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 テキスト、音声、ビジュアルといった個々のモダリティにおける感情表現は、会話コンテキストへの依存性においてどのように異なるか？
• RQ2 マルチモーダル感情認識において、モダリティ固有のコンテキスト好みをモデル化する最適な構造的設計は何か？
• RQ3 異なる特徴空間を持つマルチモーダル表現を効果的に統合し、モダリティ固有の寄与を捉えるにはどうすればよいか？
• RQ4 単一グレインまたは非インタラクティブなフィュージョンと比較して、マルチグレイン（ニューロンおよびベクトルレベル）のフィュージョンは、感情認識性能をどの程度向上させるか？

主な発見

• DialogueTRM は、IEMOCAP、MELD、DailyDialog の3つのベンチマークデータセットで最先端の性能を達成し、従来の最先端手法を顕著に上回った。
• MGIF モジュールは MulT と比較して F1 スコアで3倍の向上を達成し、マルチグレインフィュージョンの有効性を示した。
• テキストモダリティはコンテキスト依存設定下で顕著に高い性能を示したのに対し、ビジュアルおよび音声モダリティはコンテキストフリー設定下で最良の性能を示した。
• アブレーションスタディにより、マルチモーダルゲートによるニューロングレインフィュージョンと、トランスフォーマーによるベクトルグレインフィュージョンの両方が不可欠であることが確認され、後者の方が線形連結より優れた性能を示した。
• テキスト単体で誤分類される場合、マルチモーダルフィュージョンにより「ニュートラル」予測の85.41%、および「イライラ」予測の70.45%が是正され、特にニュートラルな言語に隠された否定的感情に対して顕著に効果を示した。
• 発話 'yeah.' の場合、精度はテキスト単体の43.48%からコンテキストを加えた65.22%、マルチモーダル特徴を用いた73.91%に向上し、マルチモーダルコンテキストの価値を示した。