[論文レビュー] Harnessing Large Language Models' Empathetic Response Generation Capabilities for Online Mental Health Counselling Support

Siyuan Brandon Loh, Aravind Sesagiri Raamkumar|arXiv (Cornell University)|Oct 12, 2023

Mental Health via Writing被引用数 4

ひとこと要約

本研究では、オンライン精神保健カウンセリングにおける共感的応答の生成について、大規模言語モデル（LLMs）と共感的対話システム（ECS）を評価する。EmpatheticDialoguesデータセットからのプロンプトを用いて、LLMsはECSモデルおよび人間のベースラインを上回る共感的指標を示した。特に即時の入力にとどまらない感情的テーマの掘り下げにおいて顕著であり、微細調整を最小限に抑えた状態でスケーラブルな共感的支援が可能であることを示唆している。

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable performance across various information-seeking and reasoning tasks. These computational systems drive state-of-the-art dialogue systems, such as ChatGPT and Bard. They also carry substantial promise in meeting the growing demands of mental health care, albeit relatively unexplored. As such, this study sought to examine LLMs' capability to generate empathetic responses in conversations that emulate those in a mental health counselling setting. We selected five LLMs: version 3.5 and version 4 of the Generative Pre-training (GPT), Vicuna FastChat-T5, Pathways Language Model (PaLM) version 2, and Falcon-7B-Instruct. Based on a simple instructional prompt, these models responded to utterances derived from the EmpatheticDialogues (ED) dataset. Using three empathy-related metrics, we compared their responses to those from traditional response generation dialogue systems, which were fine-tuned on the ED dataset, along with human-generated responses. Notably, we discovered that responses from the LLMs were remarkably more empathetic in most scenarios. We position our findings in light of catapulting advancements in creating empathetic conversational systems.

研究の動機と目的

• 大規模言語モデル（LLMs）の模擬オンライン精神保健カウンセリングシナリオにおける共感的応答生成能力を評価すること。
• 標準化された共感的指標を用いて、LLMsを従来の共感的対話システム（ECS）および人間が生成した応答と比較すること。
• タスク固有の微細調整を受けていないにもかかわらず、事前学習済みLLMsが微細調整済みECSモデルよりもより共感的な応答を生成できるかを調査すること。
• モデルアーキテクチャおよびプロンプト設計が、精神保健関連対話生成における共感に与える影響を評価すること。
• データ集約型ECSの代替として、低リソースでスケーラブルな精神保健支援の実現可能性を検討すること。

提案手法

• 5つのLLMsを評価した：GPT-3.5、GPT-4、Vicuna FastChat-T5、PaLM 2、Falcon-7B-Instruct。いずれもEmpatheticDialogues（ED）データセットからの発話に応答する簡単な指示をプロンプトとして使用した。
• 応答は3つの自動共感的指標で評価された：解釈（感情的コンテンツの理解）、感情的反応（共感的トーン）、探求（即時の入力にとどまらない拡張）。
• ベースライン応答は、元のEDデータセットから抽出され、非微細調整の対話ターンとしての人間生成応答を表した。
• 評価フレームワークは、LLMs、EDで微細調整済みのECSモデル、人間の応答を、肯定的および否定的センチメントの文脈で比較した。
• 統計的分析により、モデルタイプおよびセンチメント状況ごとの共感スコアの差の有意性が評価された。
• 主なメソドロジカルな選択は、微細調整を回避してゼロショットプロンプティングを用いた事前学習済みLLMsの使用であり、共感に対する誘導バイアスの有無をテストした。

Figure 1: Average proportion of responses in each model type with empathetic features. Scores are grouped by sentiment. Top panel: Emotional Reaction. Middle panel: interpretation. Bottom panel: Exploration

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（LLMs）は、精神保健カウンセリングのシミュレーションにおいて、微細調整済み共感的対話システム（ECS）よりもより共感的な応答を生成できるか？
• RQ2 共感的指標（感情的理解や応答の探求）において、LLMsはEmpatheticDialoguesデータセットからの人間生成応答と比べてどう異なるか？
• RQ3 ユーザーの入力のセンチメント（肯定的 vs. 否定的）は、LLMsおよびECSモデルの共感的パフォーマンスに影響を与えるか？
• RQ4 LLMsとベースラインモデルとの間で、特に即時の入力にとどまらない感情的テーマの探求において、共感生成に顕著な差が認められるか？
• RQ5 事前学習済みLLMsは、最小限のプロンプトで高い共感スコアを達成できる程度に至るか？これは、低データ、スケーラブルな精神保健チャットボット展開の可能性を示唆する。

主な発見

• LLMsは、特に即時の入力にとどまらない応答の深さを測る「探求」指標において、ECSモデルおよび人間ベースラインを顕著に上回った。
• LLMsと否定的センチメントプロンプトの間には統計的に有意な相互作用が認められ（オッズ比：1.32、p < 0.05）、LLMsが否定的文脈で感情的テーマをより多く探求していたことを示した。
• 肯定的感情に対しては解釈指標で優れたパフォーマンスを示したが、否定的感情に対してはそのパフォーマンスがやや弱く、苦痛の処理における潜在的なギャップを示唆した。
• EDデータセットからの人間生成応答は、感情的反応および探求の両指標で全体的に最も悪く、データセットの品質問題および元のEDデータの限界を浮き彫りにした。
• 微細調整を行わずとも、LLMsは高い共感スコアを達成しており、事前学習段階で広範なスケールの学習から豊かな共感的推論がすでにエンコードされている可能性を示唆した。
• 本研究では、GPT-3.5およびGPT-4が他のLLMsよりも優れた共感を示したが、モデル間でパフォーマンスの差が認められ、同じアーキテクチャファミリー内でもモデル固有の能力の差が存在することを示した。