[論文レビュー] Is ChatGPT Equipped with Emotional Dialogue Capabilities?

Weixiang Zhao, Yanyan Zhao+4 more|arXiv (Cornell University)|Apr 19, 2023

Topic Modeling被引用数 39

ひとこと要約

この論文は、ERC、CEE、DAC、empathetic generation、ESCタスクにわたる感情対話の理解と生成において、ChatGPT (gpt-3.5-turbo)を評価し、理解のギャップを見つけつつ、分析とプロンプト設計の考慮事項とともに、有望な生成能力を示している。

ABSTRACT

This report presents a study on the emotional dialogue capability of ChatGPT, an advanced language model developed by OpenAI. The study evaluates the performance of ChatGPT on emotional dialogue understanding and generation through a series of experiments on several downstream tasks. Our findings indicate that while ChatGPT's performance on emotional dialogue understanding may still lag behind that of supervised models, it exhibits promising results in generating emotional responses. Furthermore, the study suggests potential avenues for future research directions.

研究の動機と目的

• ChatGPTの会話における感情認識をSOTAの教師ありモデルと比較して評価する。
• ChatGPTが共感的で感情的に適切な応答を生成する能力を評価する。
• 感情原因推論（CEE）および対話行為分類（DAC）の性能を分析する。
• 感情対話タスクにおけるゼロショットとファウショット promptingを比較する。
• 今後の研究を導くための適合性と評価の課題を特定する。

提案手法

• タスク横断でゼロショットおよびファウショット promptingにおけるChatGPTの性能をgpt-3.5-turboで評価する。
• ERC、CEE、DACのベースラインとして文献のSOTAモデルを参照する。
• 標準データセットで評価する：ERCはIEMOCAP、MELD、EmoryNLP、DailyDialog；CEEはRECCON-DD；DACはDailyDialog。
• 感情的な対話生成タスクをEmpatheticDialoguesおよびEmotional Support Conversationデータセットで評価する。
• ケーススタディを分析し、 prompting戦略とアノテーション標準の整合性について議論する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは対話における感情認識（ERC）で、教師ありのSOTAモデルと比較してどの程度の性能を示すか？
• RQ2 ChatGPTは共感的で感情的に適切な応答を効果的に生成できるか？
• RQ3 ChatGPTの感情原因推論（CEE）の能力はどの程度で、ベースラインと比較してどんなギャップがあるか？
• RQ4 promptingエンジニアリング（ゼロショット対ファウショット）はChatGPTの各タスクの性能にどのような影響を与えるか？
• RQ5 感情対話ベンチマークにChatGPTを適用する際の評価と適合性の課題は何か？

主な発見

Model	IEMOCAP	MELD	EmoryNLP	DailyDialog
DialogueRNN	64.76	63.61	37.44	57.32
IEIN	64.37	60.72	-	-
COSMIC	65.28	65.21	38.11	58.48
DialogXL	65.94	62.41	34.73	54.93
DAG-ERC	68.03	63.56	39.02	59.33
DialogueCRN	66.20	58.39	-	-
CauAIN	67.61	65.46	-	58.21
CoMPM	69.46	66.52	38.93	60.34
MuCDN	-	65.37	40.09	-
SPCL	69.74	67.25	40.94	-
ChatGPT 0-shot	44.97	57.30	37.47	40.66
ChatGPT 1-shot	47.46	58.63	35.60	42.00
ChatGPT 3-shot	48.58	58.35	35.92	42.39

• ChatGPTはERCの複数データセットでSOTAの微調整モデルに対して3-18ポイントの性能ギャップを示す。
• CEEでは、否定的因果ペアでの性能は概ね同等だが、 macro F1 は顕著な差 (~11.95%)でSOTAを下回る。
• DACでは、微調整済みベースラインより11-17ポイント遅れ、特定のラベルカテゴリの識別に課題がある。
• 共感的応答生成では、ChatGPTはより多様で長い応答を生成し、一部自動評価指標ではベースラインを上回る一方、黄金参照との語彙的重複（word-overlap）整合性が低下する可能性がある。人間評価では一貫した一貫性と共感性は競争力があるが、情報量にはばらつきがある。
• ESCタスクでは、ChatGPTはより長く多様な応答を生成し、情報量は高いが、SOTA手法と比較して共感性で劣る可能性がある； prompting戦略は性能を改善できる一方、評価の整合性は依然として難しい。
• 総じて、本研究はChatGPTが共感的対話を生成する潜在力を示す一方、データセットのラベリング基準と評価指標の整合性を高める必要があることを強調している。