[論文レビュー] Affect Recognition in Conversations Using Large Language Models

Shutong Feng, Guangzhi Sun+4 more|arXiv (Cornell University)|Sep 22, 2023

Mental Health via WritingPsychology被引用数 3

ひとこと要約

本研究では、IEMOCAP、EmoWOZ、DAIC-WOZ データセットを用いて、会話における感情認識の分野で大規模言語モデル（LLM）の性能を評価した。少数の例を用いたコンテキスト内学習（few-shot in-context learning）および微調整（fine-tuning）が、LLMの性能を顕著に向上させることを示した。GPT-4は、状態を凌駕する結果を達成したが、抑うつ状態の検出を除き、ASRの誤りに対しては頑健であることがわかった。

ABSTRACT

Affect recognition, encompassing emotions, moods, and feelings, plays a pivotal role in human communication. In the realm of conversational artificial intelligence, the ability to discern and respond to human affective cues is a critical factor for creating engaging and empathetic interactions. This study investigates the capacity of large language models (LLMs) to recognise human affect in conversations, with a focus on both open-domain chit-chat dialogues and task-oriented dialogues. Leveraging three diverse datasets, namely IEMOCAP (Busso et al., 2008), EmoWOZ (Feng et al., 2022), and DAIC-WOZ (Gratch et al., 2014), covering a spectrum of dialogues from casual conversations to clinical interviews, we evaluate and compare LLMs' performance in affect recognition. Our investigation explores the zero-shot and few-shot capabilities of LLMs through in-context learning as well as their model capacities through task-specific fine-tuning. Additionally, this study takes into account the potential impact of automatic speech recognition errors on LLM predictions. With this work, we aim to shed light on the extent to which LLMs can replicate human-like affect recognition capabilities in conversations.

研究の動機と目的

• 会話型AIにおける感情および抑うつ症状の重症度の認識において、LLMのゼロショットおよび少数ショットの能力を評価すること。
• 自動音声認識（ASR）の誤りがLLMを用いた感情認識に与える影響を調査すること。
• 多様な会話タイプにおいて、コンテキスト内学習（ICL）とタスク固有の微調整の有効性を比較すること。
• LLMが、オープンドメインの雑談およびタスク指向会話において人間と同等の感情認識を再現できるかどうかを評価すること。
• 実際のASR誤り条件下でも、LLMがスプokenダイアログシステムのバックエンドとしての可能性を検討すること。

提案手法

• IEMOCAP（感情分類）、EmoWOZ（タスク指向会話）、DAIC-WOZ（抑うつスクリーニング）の3つのデータセットを用い、感情認識の分野で4つのLLM（LLaMA-7B、Alpaca-7B、GPT-3.5、GPT-4）を評価した。
• ゼロショットおよび少数ショットのコンテキスト内学習（ICL）設定において、LLMの誘導を可能にするために、感情の定義と文脈に特化した指示を含むプロンプトテンプレートを設計した。
• 少数ショット例の数（N=0 から N=5）を変化させながらコンテキスト内学習を実施し、プロンプト設計の性能への影響を評価した。
• LLaMA-7B、Alpaca-7B、GPT-2 に対して、学習データの25%、50%、75%、100%を用いてタスク固有の微調整を実施し、モデルの能力とデータ効率を評価した。
• 会話システムにおける音声認識の誤りの影響を評価するため、合成されたASR誤りを発話文に挿入した。特に抑うつ状態の検出における耐性を評価した。
• 多クラス感情分類および抑うつ症状の重症度分類タスクにおいて、標準的な指標（加重F1スコアおよびマクロF1スコア）を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 LLMは、雑談およびタスク指向会話を含む多様な会話タイプにおいて、ゼロショットおよび少数ショットの感情認識でどの程度の性能を示すか？
• RQ2 ゼロショット設定と比較して、少数ショット例を用いたコンテキスト内学習が、LLMの感情認識性能にどの程度向上効果をもたらすか？
• RQ3 タスク固有の微調整は、LLMの感情認識能力をどの程度向上させることができるか。また、近似SOTA性能に到達するのに必要な学習データの割合はどの程度か？
• RQ4 感情認識および抑うつ状態の検出において、LLMは自動音声認識（ASR）の誤りに対してどの程度頑健か？
• RQ5 ラベルの意味的特性とクラスの不均衡は、微調整されたLLMの感情認識タスクにおける性能にどのような影響を及えるか？

主な発見

• GPT-4は、すべてのデータセットで最高の性能を示し、IEMOCAP（4クラス）では加重F1スコア0.78、EmoWOZでは0.74を記録。ゼロショットおよび少数ショットの両設定で他のLLMを上回った。
• 少数ショットのコンテキスト内学習は性能を顕著に向上させ、特に大規模モデルにおいて顕著だった。GPT-3.5およびGPT-4は、少数ショット例の数が増えるにつれて一貫した向上を示し、IEMOCAP（4クラス）およびEmoWOZではN=1でピークに達した。
• タスク固有の微調整により、LLaMA-7BおよびAlpaca-7Bは、IEMOCAP（4クラス）およびEmoWOZで、学習データの50%のみを用いても、加重F1スコア0.75以上を達成し、近似SOTA性能に到達した。
• IEMOCAP（5クラス）で全学習データを用いた微調整を行った場合でも、教師ありSOTAと比較して性能のギャップが見られた。これは、感情的特徴が明確でない「その他」クラスが含まれているため、その影響が考えられる。
• GPT-2は、クラスの不均衡の影響を受けて微調整後に性能が低下し、モデルが「ニュートラル」を過剰に予測し、評価指標から除外された。
• LLMは感情認識においてASR誤りに対して頑健であったが、抑うつ状態の検出では顕著な性能低下を示し、ノイズの多い入力下でも高リスクの感情的コンテンツに対して感受性が高いことがわかった。