[論文レビュー] Building Emotional Support Chatbots in the Era of LLMs

Zhonghua Zheng, Lizi Liao+2 more|arXiv (Cornell University)|Aug 17, 2023

Mental Health via Writing被引用数 12

ひとこと要約

この論文は、人間のシード対話と文脈内生成を組み合わせて拡張可能な感情サポート対話データセット（ExTES）を構築し、パラメータ効率的手法でLLaMAベースのモデルをファインチューニングして感情サポートチャットボットを作成し、その品質・安全性・汎化可能性を評価する。

ABSTRACT

The integration of emotional support into various conversational scenarios presents profound societal benefits, such as social interactions, mental health counseling, and customer service. However, there are unsolved challenges that hinder real-world applications in this field, including limited data availability and the absence of well-accepted model training paradigms. This work endeavors to navigate these challenges by harnessing the capabilities of Large Language Models (LLMs). We introduce an innovative methodology that synthesizes human insights with the computational prowess of LLMs to curate an extensive emotional support dialogue dataset. Our approach is initiated with a meticulously designed set of dialogues spanning diverse scenarios as generative seeds. By utilizing the in-context learning potential of ChatGPT, we recursively generate an ExTensible Emotional Support dialogue dataset, named ExTES. Following this, we deploy advanced tuning techniques on the LLaMA model, examining the impact of diverse training strategies, ultimately yielding an LLM meticulously optimized for emotional support interactions. An exhaustive assessment of the resultant model showcases its proficiency in offering emotional support, marking a pivotal step in the realm of emotional support bots and paving the way for subsequent research and implementations.

研究の動機と目的

• 感情サポート（ES）会話におけるデータ不足と学習の課題をLLMsを活用して解決する。
• シナリオと戦略を含む大規模で多様なES対話コーパス（ExTES）を作成する。
• LLaMAに対して複数のパラメータ効率的ファインチューニング技術をESチャットボットに適用して評価する。
• データセットの毒性とESConvおよびExTESへのクロスデータセット一般化を評価する。
• ES対話における戦略分布と会話ダイナミクスに関する洞察を提供する。

提案手法

• 対話のシードとして36のESシナリオと16のES戦略を構築する。
• 既存のESデータセットおよびWebソースから87個のシード対話を手動でキュレーションする。
• Seedに guided された約11kのES対話を生成するためにSelf-chatループでChatGPTを使用する（ExTES）。
• 生成された対話を手動でレビュー・修正して品質を確保する。
• LoRA、Adapterなどのパラメータ効率的手法でLLaMA-7B系モデルをファインチューニングし、DialoGPTベースラインと比較する。
• 自動指標（PPL、METEOR、BLEU/D、ROUGE、Extrema、D-1/2/3）と人間評価で評価し、Perspective APIで毒性を評価する；ExTESとESConvのクロスデータセット検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 LLaMAにおける感情サポート対話向けのさまざまなパラメータ効率的ファインチューニング戦略（LoRA、Adapter）はどれほど効果的か。
• RQ2 ExTESはES領域を横断して一般化し、ESConvよりESタスクで上回るか。
• RQ3 ExTES生成データの毒性はどの程度で、ファインチューニングによりさらに低減できるか。
• RQ4 データセットの規模と戦略に guided な生成が品質とユーザーが感じるサポートにどう影響するか。

主な発見

Backbone	Variant	PPL	METEOR	B-2	B-4	R-L	Extrema	D-1	D-2	D-3
DialoGPT	no-strategies	13.11	26.03	4.438	1.721	13.37	53.27	19.13	49.29	62.92
DialoGPT	strategies	13.71	26.82	4.773	1.966	13.23	55.71	16.70	53.11	77.47
LLaMA-Adapter	no-strategies	15.25	28.48	6.751	1.944	16.95	64.47	23.23	60.43	82.62
LLaMA-Adapter	strategies	15.82	29.71	6.317	1.987	16.39	62.73	22.90	60.83	82.24
LLaMA-LoRA	no-strategies	15.67	30.31	6.105	2.333	21.60	65.06	21.73	63.64	84.90
LLaMA-LoRA	strategies	16.02	30.67	6.416	2.491	20.85	65.44	21.81	61.94	82.80

• LLaMA上のLoRAチューニングは、自動指標全般において他のバックボーン（DialoGPT、Adapter）よりも優れている。
• 戦略 guided バリアントは一部の点（例：ターゲット提案）で改善する一方、他の点で多様性を減らす可能性がある。
• ExTESは、種対話およびESConvと比較して、人間評価による品質（情報量、有用性）が同等または高くなる場合がある。
• クロスデータセット実験では、ExTESで学習したモデルはESConvのテストセットに対して良好に機能し、未知のESシナリオに対する一般化がESConvで学習したモデルより優れている。
• ExTESの毒性スコアは低く、LoRAチューニングによりさらに低減され、安全なES対話を示す。
• ExTESは元々のES文脈を超えたES応用に対して強い汎用性を示し、堅牢なESチャットボット開発を可能にする。