[論文レビュー] Shapes of Emotions: Multimodal Emotion Recognition in Conversations via Emotion Shifts

Harsh Agarwal, Keshav Bansal+2 more|arXiv (Cornell University)|Dec 3, 2021

Emotion and Mood Recognition被引用数 12

ひとこと要約

本稿では、急激な感情の転換を示す会話におけるパフォーマンスを向上させるために、モジュラーセンサスシフト部を備えたマルチモーダル感情認識モデルを提案する。連続する発話間のシフトを検出するシアンズネットワークを用い、GRUベースの統合と統合することで、MOSEIおよびIEMOCAPの既存手法を上回る性能を発揮し、特に感情シフトの予測において20%の向上を達成した。

ABSTRACT

Emotion Recognition in Conversations (ERC) is an important and active research area. Recent work has shown the benefits of using multiple modalities (e.g., text, audio, and video) for the ERC task. In a conversation, participants tend to maintain a particular emotional state unless some stimuli evokes a change. There is a continuous ebb and flow of emotions in a conversation. Inspired by this observation, we propose a multimodal ERC model and augment it with an emotion-shift component that improves performance. The proposed emotion-shift component is modular and can be added to any existing multimodal ERC model (with a few modifications). We experiment with different variants of the model, and results show that the inclusion of emotion shift signal helps the model to outperform existing models for ERC on MOSEI and IEMOCAP datasets.

研究の動機と目的

• 発話間の感情的シフトを明示的にモデル化することで、会話におけるマルチモーダル感情認識の性能を向上させること。
• 既存の逐次モデルが、特に肯定的から否定的へ向けた感情の急激な転換に対処できないという限界を是正すること。
• 既存のマルチモーダルERCモデルに最小限の変更で統合可能な、モジュラーモジュールで、事前学習可能な部品を設計すること。
• GRUゲートが感情シフト中にどのように反応するかを分析し、この部品が情報ゲーティングに与える影響を検証すること。
• 2つの連続する発話のみに依存することで、リアルタイム対応が可能なようにすること。

提案手法

• テキスト、音声、ビデオ特徴量を早期統合（モダリティ埋め込みの連結）により統合するマルチモーダルGRUベースのモデル。
• 独立した感情シフト部は、連続する発話を比較し、感情的シフトを予測するためのシアンズネットワークを用いる。
• 感情的変化の判別的表現を学習するために、トリプレット損失を用いて訓練される。初期段階ではテキストモダリティのみを用いる。
• 感情シフト信号は、GRUのリセットゲートおよびアップデートゲートを調整することで、シフト時に古くなった感情状態を抑制する。
• アーキテクチャはモジュラーであり、わずかなアーキテクチャ的変更とファインチューニングで、既存モデルへの統合が可能である。
• 定性的分析では、GRUゲート活性化を可視化し、感情シフト時に過去の状態への依存を効果的に低減していることを確認する。

実験結果

リサーチクエスチョン

• RQ1 連続する発話間の感情的シフトをモデル化することで、会話におけるマルチモーダル感情認識の性能が向上するか？
• RQ2 感情シフト部を含めることで、感情の急激な転換を示す発話の予測にどのような影響を与えるか？
• RQ3 感情シフトモジュールが、感情的シフト中にGRUゲート行動にどの程度の影響を与えるか？
• RQ4 感情シフト部は、単モーダルおよびマルチモーダル感情認識システムの両方に対して効果的に適用可能か？
• RQ5 感情シフト部は、逐次的に会話を処理するリアルタイム感情認識システムに適しているか？

主な発見

• 提案されたモデルは、MOSEIおよびIEMOCAPの両データセットにおいて、既存の最先端手法を上回り、特に感情シフトの検出において顕著な向上を示した。
• 感情シフト部により、Negative-to-PositiveのシフトにおいてF1スコアがMultilogue-Netと比較して20%向上し、Positive-to-Negativeのシフトでは4%向上した。
• テキストモダリティのみを用いたシアンズネットワークベースの感情シフト部は、82.66%の精度を達成し、マルチモーダル統合（82.20%）を上回った。
• 定性的分析の結果、感情シフト時に感情シフト部がGRUリセットゲートの活性化を効果的に低減していることが示され、過去の感情状態への依存が抑制されていることが確認された。
• 感情シフトを示す発話において、モデルの性能が顕著に向上しており、動的な感情的シフトの処理におけるこの部品の有効性が裏付けられた。
• モジュラー設計により、感情シフト部は異なるモデル間で再利用可能であり、2つの連続する発話のみに依存するため、リアルタイム環境でも適用可能である。