[論文レビュー] A Multimodal Corpus for Emotion Recognition in Sarcasm

Anupama Ray, Shubham Mishra+2 more|arXiv (Cornell University)|Jun 5, 2022

Sentiment Analysis and Opinion Mining被引用数 12

ひとこと要約

本論文では、感情認識における皮肉のためのスケーラブルなマルチモーダルコーパスであるMUStARD++を紹介する。この研究は、元のMUStARDデータセットのサイズを2倍に拡大し、感情、価値、覚醒度、および皮肉の種別に関する詳細なアノテーションを追加することで拡張している。この拡張されたデータセットを用いてマルチモーダル統合モデルを訓練することで、皮肉における感情認識の分野で新たなベンチマークを確立し、最先端の皮肉検出手法を著しく上回った性能を達成した。

ABSTRACT

While sentiment and emotion analysis have been studied extensively, the relationship between sarcasm and emotion has largely remained unexplored. A sarcastic expression may have a variety of underlying emotions. For example, "I love being ignored" belies sadness, while "my mobile is fabulous with a battery backup of only 15 minutes!" expresses frustration. Detecting the emotion behind a sarcastic expression is non-trivial yet an important task. We undertake the task of detecting the emotion in a sarcastic statement, which to the best of our knowledge, is hitherto unexplored. We start with the recently released multimodal sarcasm detection dataset (MUStARD) pre-annotated with 9 emotions. We identify and correct 343 incorrect emotion labels (out of 690). We double the size of the dataset, label it with emotions along with valence and arousal which are important indicators of emotional intensity. Finally, we label each sarcastic utterance with one of the four sarcasm types-Propositional, Embedded, Likeprefixed and Illocutionary, with the goal of advancing sarcasm detection research. Exhaustive experimentation with multimodal (text, audio, and video) fusion models establishes a benchmark for exact emotion recognition in sarcasm and outperforms the state-of-art sarcasm detection. We release the dataset enriched with various annotations and the code for research purposes: https://github.com/apoorva-nunna/MUStARD_Plus_Plus

研究の動機と目的

• マルチモーダルコミュニケーションにおける皮肉とその裏にある感情の間の未解明の関係を解明すること。
• 元のMUStARDデータセットの感情アノテーションにおけるラベル誤りを是正すること。
• テレビコメディから新たに345件の皮肉的でないおよび皮肉的な動画を追加し、皮肉の割合を50-50に保つことで、データセットを拡張すること。
• 感情の強度モデリングを向上させるために、価値と覚醒度の次元を追加すること。
• 今後の皮肉検出研究を支援するため、皮肉の種別分類（命題的、埋め込み型、「like」接頭語型、イロケーション型）をメタデータとして導入すること。

提案手法

• 著者らは、MUStARDと同様のテレビコメディから、皮肉的でないおよび皮肉的な動画を345件ずつ収集し、データセットのサイズを2倍にした。
• 元のMUStARDデータセットの感情ラベルについて、手作業による再アノテーションを実施し、343件の誤ったラベルを是正した。
• 各発話は、心理学的フレームワークに基づき、9つの感情のうちの1つにラベル付けされ、同時に価値と覚醒度のスコアが付与された。
• 皮肉の種別は、言語的およびマルチモーダルな手がかりを用いて分類された：命題的（文脈依存）、埋め込み型（テキスト内の不一致）、「like」接頭語型（皮肉を示すために「like」が使用）、イロケーション型（非言語的サインがテキストと矛盾）。
• テキスト、音声、映像特徴を用いて、BERT、Wav2Vec、および映像埋め込みを用いたマルチモーダル統合モデルを訓練し、モダリティ固有の表現を統合するためのラテント融合戦略を採用した。
• 最終的なモデルアーキテクチャは、テキスト（BERT）、音声（Wav2Vec）、映像（I3D）エンコーダーを組み合わせており、感情認識のための早期統合とラテント統合戦略を評価した。

実験結果

リサーチクエスチョン

• RQ1 皮肉的な発話の背後にある感情は何か？ そして、表面的な感情とはどのように異なるか？
• RQ2 皮肉の種別および皮肉的発話における感情カテゴリーごとに、価値と覚醒度のレベルはどのように変化するか？
• RQ3 テキスト、音声、映像のマルチモーダル統合は、単一モーダルまたは単純な統合手法よりも、皮肉における感情認識を向上させることができるか？
• RQ4 既存のデータセットにおけるラベル誤りは、正確な皮肉および感情認識を妨げる要因となる程度はどの程度か？
• RQ5 皮肉の種別は、正確な感情検出に必要なモダリティ要件にどのように影響を与えるか？

主な発見

• 著者らは、元のMUStARDデータセットにおける343件の誤った感情ラベルを是正し、アノテーション品質を著しく向上させた。
• 拡張されたMUStARD++データセットには、合計1,380件の動画発話（皮肉的690件、非皮肉的690件）が含まれており、感情、価値、覚醒度、および皮肉の種別について完全なアノテーションが付与されている。
• マルチモーダル統合モデルは、皮肉における感情認識で最先端の性能を達成し、既存の皮肉検出ベースラインを上回った。
• 価値と覚醒度の次元を組み込むことで、特に繊細な皮肉の状況において、感情の強度を捉えるモデルの能力が向上した。
• 非言語的サインに依存するイロケーション型皮肉は、高精度な検出に至るまでに、完全なマルチモーダル統合を必要とした。
• 提案されたモデルは、感情認識および皮肉検出の両タスクで顕著な性能向上を達成し、豊富なマルチモーダルアノテーションの価値を示した。