[論文レビュー] SoulChat: Improving LLMs' Empathy, Listening, and Comfort Abilities through Fine-tuning with Multi-turn Empathy Conversations

Yirong Chen, Xiaofen Xing+5 more|arXiv (Cornell University)|Nov 1, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、人間中心のプロンプトを用いて大規模言語モデル（LLM）を微調整することで、共感、傾聴、安心感の能力を向上させる目的で構築された、230万件を超えるサンプルを有する中国語多ターン共感会話データセットであるSoulChatを紹介する。SoulChatCorpusへの微調整により、LLMの感情的サポートの場面における性能が著しく向上し、自動評価および人間評価の両面でベースラインモデルを上回った。

ABSTRACT

Large language models (LLMs) have been widely applied in various fields due to their excellent capability for memorizing knowledge and chain of thought (CoT). When these language models are applied in the field of psychological counseling, they often rush to provide universal advice. However, when users seek psychological support, they need to gain empathy, trust, understanding and comfort, rather than just reasonable advice. To this end, we constructed a multi-turn empathetic conversation dataset of more than 2 million samples, in which the input is the multi-turn conversation context, and the target is empathetic responses that cover expressions such as questioning, comfort, recognition, listening, trust, emotional support, etc. Experiments have shown that the empathy ability of LLMs can be significantly enhanced when finetuning by using multi-turn dialogue history and responses that are closer to the expression of a psychological consultant.

研究の動機と目的

• LLMのメンタルヘルス応用における微調整のための、大規模で多ターン、中国語に特化した共感的会話データセットの不足を解消すること。
• 一般的な助言ではなく、傾聴、安心感、認識、感情的サポートといった共感的な反応を生成する能力を向上させること。
• 多ターン会話パターンと共感制約を活用することで、心理カウンセラーをより効果的に模倣する人間中心のLLMの開発。
• データアウトソーシング、ルールベースのクリーニング、人間によるアノテーションによる精練を用いて、スケーラブルでプライバシー保護されたデータセットの構築。
• 自動指標と専門家がアノテートした人間評価を用いて、共感的反応への微調整の有効性を評価すること。

提案手法

• 12のトピックにわたる61万9,725件の単ターン心理カウンセリング反応と21万5,813件の質問を収集し、まず230万件の多ターン共感会話データセットであるSoulChatCorpusを構築した。
• 「傾聴」「安心感」「信頼」「認識」「感情的サポート」などの表現を強調する、強化された中国語共感制約プロンプトを用いて、GPTベースのモデルを微調整した。
• ChatGPTを用いて単ターン対話を多ターンの共感的会話に変換し、その後ルールベースのフィルタリングと手動による検証を実施して共感表現の質を向上させた。
• 心理学専門家3名による人間評価を実施し、自然さ、共感、有用性、安全性の4項目について3段階尺度（0–2）で評価し、安全性に関しては完全一致（κ=1）を達成した。
• ベースモデルであるChatGLM-6BをSoulChatCorpusで微調整し、SoulChatCorpusおよびSMILECHATテストセットの両方でBLEU、ROUGE、人間アノテーションを用いて性能を評価した。
• 機密性の高いコンテンツ（例：'自殺'、'私は'）および10万5,134件の有害なサンプルを削除する厳密なデータキュレーションパイプラインを採用し、倫理的適合性を確保した。

実験結果

リサーチクエスチョン

• RQ1 大規模で多ターン、中国語に特化した共感会話データセットを用いたLLMの微調整は、共感的で傾聴志向的かつ安心感を与える反応の生成能力を顕著に向上させるか？
• RQ2 提案された共感制約プロンプトは、既存のプロンプト（例：SMILE）と比較して、LLM生成反応における共感表現の強化にどの程度効果的か？
• RQ3 SoulChatCorpusデータセットは、SMILECHATのような他の共感ベンチマークにおけるゼロショット性能をどの程度向上させるか？
• RQ4 人間によるアノテーション評価と自動指標の両方が、LLM生成のカウンセリング反応における共感性と安全性をどの程度的確に評価できるか？
• RQ5 ユーザー属性（年齢、性別、性格など）を考慮したパーソナライズド共感反応を生成する際の主な制約は何か。今後のモデルはどのようにこれらの属性を組み込むべきか？

主な発見

• SoulChatは、SoulChatCorpusおよびSMILECHATテストセットの両方で、BLEU-1からBLEU-4、ROUGE-1からROUGE-Lまでのすべての自動評価指標において、ChatGLM-6B、ChatGPT、MeChatを上回った。
• 人間評価では、SoulChatは0–2スケールで平均共感スコア1.78を達成し、ベースラインモデルと比較して顕著に高い共感的反応生成能力を示した。
• 共感、有用性、自然さの各項目で中程度から中程度以上の中間者間一致（Fleiss’ κ = 0.489–0.532）を示し、安全性に関しては完全一致（κ=1）を達成した。
• 本データセットは230万件の規模に達し、中国語のメンタルヘルスおよび感情的サポート分野で初の100万件規模の多ターン共感会話データセットとなった。
• SoulChatはSMILECHATベンチマークにおいて強いゼロショット一般化性能を示し、微調整された表現が他の共感指向タスクへも転送可能であることを示した。
• 安全性評価では、データキュレーション段階で有害なコンテンツがすべて削除されており、最終モデルの安全性スコアも人間評価で高い水準を維持していた。