[論文レビュー] Is GPT a Computational Model of Emotion? Detailed Analysis

Ala N. Tak, Jonathan Gratch|arXiv (Cornell University)|Jul 25, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文は、状況的要因の変化 under における自伝的記憶と感情反応に関する推論を通じて、GPT モデルが感情の計算的モデルとして機能するかどうかを評価している。感情ラベル付けにおいて人間の評価と強い一致を示す一方で、GPT は感情の強度や対処行動の予測に苦労しており、GPT-4 ですらプロンプト工学を経て優れた性能を示すものの、感情的推論における応答のばらつきと信頼性の低さが顕著であることが明らかになった。

ABSTRACT

This paper investigates the emotional reasoning abilities of the GPT family of large language models via a component perspective. The paper first examines how the model reasons about autobiographical memories. Second, it systematically varies aspects of situations to impact emotion intensity and coping tendencies. Even without the use of prompt engineering, it is shown that GPT's predictions align significantly with human-provided appraisals and emotional labels. However, GPT faces difficulties predicting emotion intensity and coping responses. GPT-4 showed the highest performance in the initial study but fell short in the second, despite providing superior results after minor prompt engineering. This assessment brings up questions on how to effectively employ the strong points and address the weak areas of these models, particularly concerning response variability. These studies underscore the merits of evaluating models from a componential perspective.

研究の動機と目的

• GPT モデルが感情の計算的モデルとして機能できるかどうかを、感情反応に関する推論を分析することで評価すること。
• GPT が自伝的記憶をどのように処理し、その感情的含意をどのように解釈するかを調査すること。
• 感情の強度や対処傾向に影響を与える状況的要因の変化に対するモデルの感受性を検討すること。
• プロンプト工学が GPT の感情的推論タスクにおけるパフォーマンスに与える影響を評価すること。
• 実用的な感情的 AI システムへの展開を想定した際の、GPT の感情的推論における強みと弱みを特定すること。

提案手法

• 記憶と評価プロセスに焦点を当てた、GPT の感情的推論に関する構成要素ベースの分析を実施した。
• 出来事の深刻度や社会的文脈などの状況要因を体系的に変化させ、それが予測される感情や対処戦略に与える影響を評価した。
• プロンプト工学を施さずに GPT が出力する応答を収集し、ベースラインパフォーマンスを評価した。
• 人間が提供した感情評価とラベルとを比較して、整合性と一貫性を検証した。
• GPT-4 にわずかなプロンプト工学を適用し、感情の強度と対処反応の予測における性能向上を評価した。
• GPT-3.5 と GPT-4 の間で応答のばらつきと信頼性に注目した比較フレームワークを用いて、パフォーマンスを評価した。

実験結果

リサーチクエスチョン

• RQ1 GPT が自伝的記憶と感情反応に関する推論を行う際、人間の評価とどの程度一致するか。
• RQ2 状況的要因の変化が、GPT の感情の強度と対処行動の予測にどのように影響するか。
• RQ3 プロンプト工学が、GPT が感情の強度と対処反応を予測する能力に与える影響は何か。
• RQ4 GPT-4 は、感情の複雑さを扱うタスクにおいて、以前のバージョンと比較してどの程度優れているか。
• RQ5 GPT モデルが感情を計算的システムとしてモデル化するにあたり、主な制限要因は何か。

主な発見

• GPT モデルは、プロンプト工学を施さなくても、人間が提供した感情評価とラベルと顕著な一致を示しており、特に感情ラベル付けにおいて顕著である。
• 初期の研究では GPT-4 が最高のパフォーマンスを示し、状況的文脈に基づく感情反応の予測において GPT-3.5 を上回った。
• 初期の評価では優れたパフォーマンスを示したものの、第二の研究では GPT-4 が感情の強度と対処行動の予測に苦労した。
• プロンプト工学により、GPT-4 の感情の強度と対処反応の予測におけるパフォーマンスが顕著に向上した。これは、モデルの信頼性が入力のフレーミングに敏感であることを示している。
• 本研究では、GPT モデルが、特に複雑な感情的推論タスクにおいて応答品質の高いばらつきを示すことが明らかになった。
• 研究結果は、感情をモデル化する際の LLM の強みと弱みをよりよく理解するための構成要素評価アプローチの重要性を強調している。