[論文レビュー] Speaker-Guided Encoder-Decoder Framework for Emotion Recognition in Conversation

Yinan Bao, Qianwen Ma+3 more|arXiv (Cornell University)|Jun 7, 2022

Speech Recognition and Synthesis被引用数 6

ひとこと要約

本論文は、動的かつ複雑な会話参加者間の相互作用を捉えることのできない既存のERCモデルの限界を補うために、Speaker-Guided Encoder-Decoder (SGED) フレームワークを提案する。このフレームワークは、新規のSpeaker State Encoder (SSE) を用いて、動的かつ内的・外的会話参加者依存関係を統合的にモデル化する。デコーダーを動的会話参加者状態でガイドすることで、感情予測を向上させ、3つのベンチマークデータセットで最先端の性能を達成しており、特にマルチパーティ会話において顕著な優位性を示している。

ABSTRACT

The emotion recognition in conversation (ERC) task aims to predict the emotion label of an utterance in a conversation. Since the dependencies between speakers are complex and dynamic, which consist of intra- and inter-speaker dependencies, the modeling of speaker-specific information is a vital role in ERC. Although existing researchers have proposed various methods of speaker interaction modeling, they cannot explore dynamic intra- and inter-speaker dependencies jointly, leading to the insufficient comprehension of context and further hindering emotion prediction. To this end, we design a novel speaker modeling scheme that explores intra- and inter-speaker dependencies jointly in a dynamic manner. Besides, we propose a Speaker-Guided Encoder-Decoder (SGED) framework for ERC, which fully exploits speaker information for the decoding of emotion. We use different existing methods as the conversational context encoder of our framework, showing the high scalability and flexibility of the proposed framework. Experimental results demonstrate the superiority and effectiveness of SGED.

研究の動機と目的

• 感情表現に影響を与える動的かつ複雑な会話参加者間の相互作用を捉えることのできない既存のERCモデルの限界を是正すること。
• 統一されたフレームワーク内で、動的内的会話参加者依存関係（感情の慣性）と外的会話参加者依存関係（他者からの感情的影響）を同時にモデル化すること。
• さまざまな既存の会話的文脈エンコーダーと統合可能な柔軟でスケーラブルなフレームワークを設計すること。
• 動的会話参加者状態表現を用いてデコーディングプロセスをガイドすることで、感情認識の性能を向上させること。

提案手法

• モジュラー設計を採用したSpeaker-Guided Encoder-Decoder (SGED) フレームワークを提案：会話的文脈エンコーダー (CCE) と会話参加者状態エンコーダー (SSE) を経て、会話参加者ガイドドデコーダー (SGD) に至る。
• 再帰的状態更新を用いて、内的会話参加者依存関係（自己への影響）と外的会話参加者依存関係（他者からの影響）を動的にモデル化する新規なSpeaker State Encoder (SSE) を導入する。
• SSE から得られる会話参加者状態ベクトルを、SGD モジュールにおけるデコーディングプロセスの条件付けに用い、段階的かつ文脈に適応した感情予測を可能にする。
• さまざまな既存のCCE（例：DialogueGCN、BERTベースのモデル）と統合可能であり、高いスケーラビリティと柔軟性を示している。
• SSE において、会話参加者固有の履歴と隣接会話参加者状態を適応的に統合するゲート機構を採用し、動的表現学習を実現する。
• 3つのベンチマークデータセット（EmoryNLP、IEMOCAP、MELD）にこのフレームワークを適用し、構成要素の寄与度を検証するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 内的および外的会話参加者依存関係を統合的にモデル化することで、マルチターン会話における感情認識が向上するか？
• RQ2 静的会話参加者埋め込みを用いた標準的なデコーディングと比較して、提案された会話参加者ガイドドデコーダーはどのように性能を発揮するか？
• RQ3 異なる会話設定（例：2人会話対比・マルチパーティ会話）において、内的会話参加者依存関係と外的会話参加者依存関係の相対的寄与度は何か？
• RQ4 提案された会話参加者モデリング方式は、多様なERCベンチマークにおいてどの程度性能を向上させるか？

主な発見

• 提案された SGED フレームワークは、3つのベンチマークデータセット（EmoryNLP、IEMOCAP、MELD）で最先端の性能を達成した。
• MELD データセットにおいて、SGED はマルチパーティ会話でベースライン比 1.28% の絶対的向上を達成し、特に 5 人会話の状況で最大の向上が観察された。
• アブレーションスタディの結果、SSE における内的または外的会話参加者依存関係を除去すると、顕著な性能低下が生じ、両依存関係が相補的であることを確認した。
• SGD を除去した場合、2人会話では 1.23%、マルチパーティ会話では 1.28% の性能向上が見られたことから、会話参加者ガイドドデコーダーの貢献度が顕著であることが示された。
• SSE と SGD の両方を除去した場合、完全な SGED モデルは顕著な性能低下を示し、提案された会話参加者モデリング方式の有効性を裏付けた。
• 誤差解析の結果、ニュートラルな感情が非ニュートラルな感情（例：幸せ）と頻繁に混同され、また幸せと驚きのような類似した感情の区別が依然として困難であることが明らかになった。