[論文レビュー] Multimodal Emotion-Cause Pair Extraction in Conversations

Fanfan Wang, Zixiang Ding+3 more|arXiv (Cornell University)|Oct 15, 2021

Sentiment Analysis and Opinion Mining参考文献 42被引用数 5

ひとこと要約

本稿では、会話のマルチモーダルデータ（テキスト、音声、映像）から感情・原因ペアを共同で抽出する、新しいタスクであるマルチモーダル会話内感情要因ペア抽出（MC-ECPE）を紹介する。著者らはテレビドラマ『フレンズ』の会話データから13,509発話にわたり9,272組のアノテート済みペアを含む、『フレンズ内の感情要因』（ECF）データセットを構築し、マルチモーダル特徴を統合するベースラインシステムを確立した。その結果、音声および視覚的モダリティが、特にテキストに明示的に記載されていない原因の検出において、再現率の向上に顕著な寄与を示した。

ABSTRACT

Emotion cause analysis has received considerable attention in recent years. Previous studies primarily focused on emotion cause extraction from texts in news articles or microblogs. It is also interesting to discover emotions and their causes in conversations. As conversation in its natural form is multimodal, a large number of studies have been carried out on multimodal emotion recognition in conversations, but there is still a lack of work on multimodal emotion cause analysis. In this work, we introduce a new task named Multimodal Emotion-Cause Pair Extraction in Conversations, aiming to jointly extract emotions and their associated causes from conversations reflected in multiple modalities (text, audio and video). We accordingly construct a multimodal conversational emotion cause dataset, Emotion-Cause-in-Friends, which contains 9,272 multimodal emotion-cause pairs annotated on 13,509 utterances in the sitcom Friends. We finally benchmark the task by establishing a baseline system that incorporates multimodal features for emotion-cause pair extraction. Preliminary experimental results demonstrate the potential of multimodal information fusion for discovering both emotions and causes in conversations.

研究の動機と目的

• マルチモーダル会話データから感情とその原因を共同で抽出する新しいタスク、マルチモーダル会話内感情要因ペア抽出（MC-ECPE）を導入すること。
• 自然でマルチモーダルな会話において、主にテキストベースの感情要因分析に偏った既存研究のギャップを埋めること。
• テレビドラマ『フレンズ』のデータから、テキスト、音声、映像の3モダリティを含む、9,272組の感情要因ペアを含む大規模かつ人手でアノテートされたデータセット『フレンズ内の感情要因』（ECF）を構築すること。
• MC-ECPEタスクのベンチマークを確立するため、感情および原因抽出の性能を向上させるためにマルチモーダル特徴を統合したベースラインシステムを開発すること。

提案手法

• 提案されたベースラインシステム、MC-ECPE-2stepsは、マルチモーダル入力表現を用いた系列ラベル付けアプローチにより、感情発話と原因発話を別々に特定する。
• テキスト、音声、映像からのマルチモーダル特徴は、事前学習済みモデル（テキストにはBERT、音声にはWav2Vec2、映像にはViTPose）を用いて抽出され、それらを連結して統合表現を生成する。
• 発話間の時間的・順序的関係をモデル化するために相対的位置エンコーディングを用い、感情と原因のペアの整合性を向上させる。
• 2段階のパイプラインを採用：まず、感情および原因発話を独立して予測し、次に候補ペアを形成して分類ヘッドを用いてスコア付けする。
• モデルは表現学習の過程で、異なるモダリティの重要度を動的に重みづけるためのアテンションメカニズムを活用する。
• 損失関数を感情および原因予測の両タスクに最適化して、ECFデータセット上でエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 テキスト、音声、映像のマルチモーダル統合は、単一モダリティのアプローチと比較して、会話的文脈における感情要因ペア抽出の性能をどの程度向上させるか？
• RQ2 テキストに明示的に記載されていない原因を特定するにあたり、音声的および視覚的モダリティがどの程度寄与するか？
• RQ3 マルチモーダル特徴の統合は、特に暗黙的または文脈依存の原因に対して、再現率および適合率にどのように影響を与えるか？
• RQ4 感情カテゴリの不均衡はMC-ECPEモデルの性能にどのような影響を及ぼすか？また、マルチモーダル特徴はこの問題を緩和するのに役立つか？
• RQ5 マルチモーダル特徴を統合したベースラインシステムは、単一モダリティまたは統計的ベースラインを上回る性能を示せるか？

主な発見

• マルチモーダル特徴を統合したベースラインシステム（MC-ECPE-2steps）は、統計的ベースラインを顕著に上回り、相対的位置情報のみでは感情要因ペアの正確な抽出が不十分であることが示された。
• 音声特徴を除去するとF1スコアが低下し、発話のプロソディーおよびトーンが感情のトリガーを特定する上で重要であることが裏付けられた。
• 視覚的特徴を除去してもF1スコアが低下し、顔の表情やシーンの文脈といった視覚的手がかりが、暗黙の原因を検出する上で不可欠であることが示された。
• 音声および視覚的特徴を両方とも除去するとF1スコアが1.9%低下し、テキストに明示的に記載されていない原因を解明するにあたり、マルチモーダル情報の補完的価値が顕著に現れた。
• モデルは『驚き』という感情カテゴリで最も高い性能を示し、『恐怖』で最も低い性能を示した。これは、カテゴリの不均衡と、微細または強い感情状態を認識することが困難であることを示している。
• 視覚的特徴は音声的特徴ほど寄与はしないが、会話における視覚的シーン理解が、現在のマルチモーダル表現学習において依然として大きな課題であることを示唆している。