[論文レビュー] TSAM: A Two-Stream Attention Model for Causal Emotion Entailment

Duzhen Zhang, Zhen Yang+3 more|arXiv (Cornell University)|Mar 2, 2022

Sentiment Analysis and Opinion Mining被引用数 7

ひとこと要約

本稿では、会話履歴における感情と発話者情報を統合的にモデル化することで、因果的感情帰納（CEE）を改善する Two-Stream Attention Model（TSAM）を提案する。Emotion Attention Network（EAN）とSpeaker Attention Network（SAN）を相互に作用するBiAffine相互作用モジュールで統合することで、発話者内および発話者間の感情的影響を捉え、RECCONベンチマークでマクロF1スコア80.24%を達成し、新たなSoTA性能を実現した。

ABSTRACT

Causal Emotion Entailment (CEE) aims to discover the potential causes behind an emotion in a conversational utterance. Previous works formalize CEE as independent utterance pair classification problems, with emotion and speaker information neglected. From a new perspective, this paper considers CEE in a joint framework. We classify multiple utterances synchronously to capture the correlations between utterances in a global view and propose a Two-Stream Attention Model (TSAM) to effectively model the speaker's emotional influences in the conversational history. Specifically, the TSAM comprises three modules: Emotion Attention Network (EAN), Speaker Attention Network (SAN), and interaction module. The EAN and SAN incorporate emotion and speaker information in parallel, and the subsequent interaction module effectively interchanges relevant information between the EAN and SAN via a mutual BiAffine transformation. Extensive experimental results demonstrate that our model achieves new State-Of-The-Art (SOTA) performance and outperforms baselines remarkably.

研究の動機と目的

• 従来のCEE手法が発話ペairを独立して扱うという限界を是正し、グローバルな文脈と発話者固有の感情的影響を無視することを防ぐ。
• 会話履歴内の複数発話間の相関関係を捉えることで、因果的感情帰納予測を向上させる。
• 統一されたフレームワーク内で発話者内（自己誘発）および発話者間（他者誘発）の感情的影響を明示的にモデル化する。
• 感情と発話者ダイナミクスを組み込むことで、感情的会話システムの解釈可能性と性能を向上させる。
• CEEタスクにおいて、感情と発話者情報を統合的にモデル化することが必要かつ有効であることを示す。

提案手法

• TSAMモデルに入力する前に、RoBERTaを用いて発話を文脈的表現にエンコードする。
• 発話から感情への相互作用をモデル化するため、感情埋め込み上での注目を実行するEmotion Attention Network（EAN）を実装する。
• グラフベースの注目メカニズムを用いて発話者関係をモデル化することで、発話間の相互作用を捉えるSpeaker Attention Network（SAN）を構築する。
• EANとSAN間の双方向的情報交換を可能にするために、相互作用モジュールにバイアフィン変換を導入する。
• 複数のTSAM層をスタックすることで、層間で感情と発話者情報を繰り返し精錬・交換する。
• 豊かに表現された情報に基づいて予測される原因発話を出力する最終的な原因予測モジュールを用いる。

実験結果

リサーチクエスチョン

• RQ1 会話履歴内の複数発話を統合的にモデル化することで、独立したペア分類と比較して因果的感情帰納の性能が向上するか？
• RQ2 提案されたTSAMは、発話者内感情的影響（例：過去の発話による気分の持続）をどれほど効果的に捉えられるか？
• RQ3 発話者間感情的影響（例：他者の発話によって引き起こされる感情）をモデル化することで、予測精度がどの程度向上するか？
• RQ4 感情表現と発話者表現間の相互作用メカニズムが、全体のモデル性能にとってどの程度重要か？
• RQ5 情報精錬と冗長性のバランスを考慮した場合、TSAM層の最適数は何か？

主な発見

• 提案されたTSAMモデルは、RECCON-DDベンチマークでマクロF1スコア80.24%を達成し、以前のSoTAモデルを顕著に上回った。
• SANに発話者情報を組み込むことで、マクロF1が1.53ポイント向上（78.71から80.24に）し、性能向上におけるその重要性を示した。
• 相互作用モジュールを削除すると、マクロF1が78.56に低下し、EANとSAN間の情報交換が高性能を達成するために不可欠であることが確認された。
• TSAMを含まないバリアントと比較して、発話者内影響では1.76ポイント、発話者間影響では2.14ポイントの予測精度向上を達成した。
• 3層のTSAM層が最良の性能を示し、層数を減らしたり増やしたりすると性能が低下したため、精錬の最適な深さが存在することが示された。
• 3つ以上の原因を含む発話を処理する際に困難を示し、マクロF1が6ポイント低下した。また、常識的推論を要する潜在的要因の予測では性能が低かった。