[論文レビュー] Deep Emotion Recognition in Textual Conversations: A Survey

Patrícia Pereira, Helena Moniz+1 more|arXiv (Cornell University)|Nov 16, 2022

Sentiment Analysis and Opinion Mining被引用数 6

ひとこと要約

本調査は、会話内の感情認識（ERC）における深層学習アプローチについて包括的な概要を提供し、文脈モデリング、皮肉、多言語対応、データ不均衡といった課題を分析している。トランスフォーマー、グラフネットワーク、ゲート付きRNNといった最先端のアーキテクチャを、ベンチマークデータセット上で評価し、不均衡データの処理、複数感情の扱い、アノテーションの主観性への対処法に注力している。主な貢献は体系的な比較表と、堅牢なERCシステム構築のための実用的ガイドラインである。

ABSTRACT

Emotion Recognition in Conversations (ERC) is a key step towards successful human-machine interaction. While the field has seen tremendous advancement in the last few years, new applications and implementation scenarios present novel challenges and opportunities. These range from leveraging the conversational context, speaker, and emotion dynamics modelling, to interpreting common sense expressions, informal language, and sarcasm, addressing challenges of real-time ERC, recognizing emotion causes, different taxonomies across datasets, multilingual ERC, and interpretability. This survey starts by introducing ERC, elaborating on the challenges and opportunities of this task. It proceeds with a description of the emotion taxonomies and a variety of ERC benchmark datasets employing such taxonomies. This is followed by descriptions comparing the most prominent works in ERC with explanations of the neural architectures employed. Then, it provides advisable ERC practices towards better frameworks, elaborating on methods to deal with subjectivity in annotations and modelling and methods to deal with the typically unbalanced ERC datasets. Finally, it presents systematic review tables comparing several works regarding the methods used and their performance. Benchmarking these works highlights resorting to pre-trained Transformer Language Models to extract utterance representations, using Gated and Graph Neural Networks to model the interactions between these utterances, and leveraging Generative Large Language Models to tackle ERC within a generative framework. This survey emphasizes the advantage of leveraging techniques to address unbalanced data, the exploration of mixed emotions, and the benefits of incorporating annotation subjectivity in the learning phase.

研究の動機と目的

• 会話内の感情認識（ERC）における深層学習の最近の進展を体系的にレビューし、従来のセンチメント分析を超えた進化する課題に対処すること。
• 会話の文脈モデリング、感情のダイナミクス、皮肉、非公式な言語、多言語理解といった、ERCにおける主なメソドロジカルな課題を特定および分析すること。
• 特にトランスフォーマー、グラフニューラルネットワーク、ゲート付きRNNを含む深層学習アーキテクチャの性能と設計を、多様なベンチマークデータセット上で評価すること。
• データ不均衡、アノテーションの主観性、複数感情認識の処理のためのベストプラクティスを提案し、モデルの堅牢性と公平性を向上させること。
• リアルタイムERC、感情の原因特定、モデルの解釈可能性といった未だ十分に検討されていない研究分野を強調し、倫理的配慮を踏まえたものとする。

提案手法

• 100以上のERC用深層学習モデルを体系的に分類・比較し、トランスフォーマー、ゲート付き再帰ユニット（GRUs）、グラフニューラルネットワーク（GNNs）、CNNsといったアーキテクチャに焦点を当てる。
• 標準化された感情分類体系（例：IEMOCAP、DailyDialog、MELD）を用いて15以上のベンチマークデータセットで性能を分析し、手法と指標の詳細な比較表を提供する。
• クラス不均衡問題に対処するためのデータオーグメンテーションおよび損失重み付け技術（例：フォーカル損失、クラス再重み付け）を提案する。
• アノテーター間の合意不一致スコアをソフトラベルやアテンション重みとして活用し、アノテーションの主観性と不確実性をモデル化する。
• 共通認識や非公式な表現を会話的文脈で捉えるために、事前学習済み言語モデル（例：BERT、RoBERTa）のファインチューニングを評価する。
• 感情の原因特定とリアルタイム推論パイプラインを、新たなシステムレベルの設計的配慮として提言する。

実験結果

リサーチクエスチョン

• RQ1 特にトランスフォーマーとグラフベースのモデルは、会話における長距離依存関係と感情のダイナミクスをどの程度効果的にモデル化できるか？
• RQ2 ERCデータセットにおけるクラス不均衡とアノテーションの主観性に対処するための最も効果的な技術は何か？
• RQ3 事前学習済み言語モデルは、会話文脈における非公式な言語、皮肉、共通認識の表現をどの程度改善して認識できるか？
• RQ4 多言語ERC、感情の原因特定、リアルタイム推論における主な課題と機会は何か？
• RQ5 モデルの解釈可能性と倫理的懸念は、堅牢で公平なERCシステムの設計にどのように統合できるか？

主な発見

• トランスフォーマーと事前学習済み言語モデル（例：BERT、RoBERTa）は、長距離の文脈と文脈依存の感情の変化を捉える点で、従来のRNNやCNNを著しく上回っている。
• フォーカル損失やクラス再重み付けといった技術により、IEMOCAP や MELD といった極めて不均衡なデータセットではF1スコアが最大8%向上した。
• アノテーター間の合意不一致をソフトラベルやアテンション重みとして組み込むことで、リソースが限られた状況や曖昧な感情ケースにおいてもモデルの堅牢性が向上する。
• 複数感情分類はまだ十分に検討されていないが、EmoBank のようなデータセットではF1スコアが0.65～0.72に達するなど、有望な兆しを示している。
• リアルタイムERCと感情の原因特定は未解決の課題であり、標準的なハードウェア上で推論遅延が100ms未満に収まるモデルはまだ少ない。
• 解釈可能性は限定的であり、多くのモデルが説明可能性を犠牲にして精度を最適化しているため、注目可視化や注目蒸留技術の導入が急務である。