[論文レビュー] Bias in Emotion Recognition with ChatGPT

Naoki Wake, Atsushi Kanehira+3 more|arXiv (Cornell University)|Oct 18, 2023

Topic Modeling被引用数 4

ひとこと要約

本研究では、複数のデータセットおよび感情ラベルを用いてChatGPTの感情認識能力を評価し、ラベル選択やデータセットの違いに起因する顕著な性能のばらつきを明らかにした。微調整により精度は向上するが、モデルの不一致およびラベル表現の違いへの感受性は、根本的なバイアスを示しており、大規模言語モデル（LLM）を感情分析に活用するにあたり、データセットおよびラベル選択を慎重に行う必要性が強く示唆される。

ABSTRACT

This technical report explores the ability of ChatGPT in recognizing emotions from text, which can be the basis of various applications like interactive chatbots, data annotation, and mental health analysis. While prior research has shown ChatGPT's basic ability in sentiment analysis, its performance in more nuanced emotion recognition is not yet explored. Here, we conducted experiments to evaluate its performance of emotion recognition across different datasets and emotion labels. Our findings indicate a reasonable level of reproducibility in its performance, with noticeable improvement through fine-tuning. However, the performance varies with different emotion labels and datasets, highlighting an inherent instability and possible bias. The choice of dataset and emotion labels significantly impacts ChatGPT's emotion recognition performance. This paper sheds light on the importance of dataset and label selection, and the potential of fine-tuning in enhancing ChatGPT's emotion recognition capabilities, providing a groundwork for better integration of emotion analysis in applications using ChatGPT.

研究の動機と目的

• 異なるデータセットおよび感情ラベルを用いたChatGPTの、微細な感情認識における性能を評価すること。
• データセット選択および感情ラベルの定式化が、モデルの信頼性に与える影響を調査すること。
• プロンプト工学および微調整が、感情認識の精度を向上させる効果を評価すること。
• とりわけ、一般的でない感情ラベルに関して、大規模言語モデル（LLM）ベースの感情認識におけるバイアスおよび一貫性の欠如を同定すること。
• 正確な感情検出を要する応用分野におけるChatGPTの責任ある導入に向けた指針を提供すること。

提案手法

• IEMOCAP、MELD、EmoryNLP、DailyDialog、およびカスタムシリーズの5つのデータセットを用い、事前に定義された感情ラベルを用いたゼロショットプロンプトでChatGPTを評価した。
• gpt-3.5-turboモデルを用いて、ラベル付きデータを用いた少数ショットプロンプトおよび微調整を実施し、性能を向上させた。
• 会話履歴を文脈として用い、現在の発話の感情を予測することで、リアルタイムの感情認識をシミュレートした。
• 「幸せ」対「幸せな」や「力強い」対「平和な」など、ラベルのバリエーションを含む異なる感情ラベルセット間でモデル出力を比較した。
• 同一の入力を異なるラベル名や文脈で提示し、モデルの出力の一貫性を分析した。
• ChatGPTが感情ラベルに対して生成する定義の定性的分析を通じて、感情的概念に対する内部表現の理解を深めた。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTの感情認識性能は、異なるデータセットおよび感情ラベルセットによってどのように変動するか？
• RQ2 微調整は、ChatGPTの感情認識の正確性および一貫性をどの程度向上させるか？
• RQ3 『幸せ』と『幸せな』のようなラベル名のわずかな変更に対して、ChatGPTの出力はどの程度感受性を示すか？
• RQ4 『力強い』や『平和な』といった特定の感情ラベルが、複数のデータセットで一貫して低性能を示す理由は何か？
• RQ5 トレーニングデータのバイアスおよびラベリング基準が、ChatGPTの感情認識行動に果たす役割は何か？

主な発見

• ChatGPTは、感情認識において合理的なゼロショット性能を示した。これは、感情分析に関する先行研究の結果と整合的であった。
• ラベルごとの性能に顕著なばらつきが認められ、とりわけ『力強い』および『平和な』のラベルで顕著な低精度が見られた。これは、ラベル固有のバイアスを示唆している。
• 微調整は、すべてのデータセットで一貫してモデル性能を向上させたが、ラベル間の一貫性の欠如は完全には解消されなかった。
• モデルは、『幸せ』と『幸せな』のようなラベル名の変更に対して高い感受性を示し、ラベルの定式化が出力に強く影響していることが明らかになった。
• 大規模言語モデル（LLM）のブラックボックス性にもかかわらず、ChatGPTはエクマンやプラッチクの定式化された感情モデルと整合する定義を生成しており、構造的な内部表現が存在している可能性を示唆している。
• ラベル選択およびデータセット選択が、モデルの信頼性に大きな影響を与えることが判明した。特に、データセット間でのラベル付け基準の不一致が、性能のばらつきを引き起こしていることが明らかになった。