[論文レビュー] SMILE: Single-turn to Multi-turn Inclusive Language Expansion via ChatGPT for Mental Health Support

Huachuan Qiu, Hongliang He+3 more|arXiv (Cornell University)|Apr 30, 2023

Mental Health via Writing被引用数 6

ひとこと要約

本稿では、ChatGPTを活用して単一ターンのメンタルヘルスQ&Aを多様で現実的な複数ターン対話に変換するSMILEという手法を提案し、SmileChatデータセットを構築した。このアプローチにより、大規模でプライバシーを保護した、トピックが多様な対話が、現実の相互作用に近く模倣された、より効果的で感情的な支援を提供する対話型システムの訓練が可能になる。

ABSTRACT

Developing specialized dialogue systems for mental health support requires multi-turn conversation data, which has recently garnered increasing attention. However, gathering and releasing large-scale, real-life multi-turn conversations that could facilitate advancements in mental health support presents challenges in data privacy protection and the time and cost involved in crowdsourcing. To address these challenges, we introduce SMILE, a single-turn to multi-turn inclusive language expansion technique that prompts ChatGPT to rewrite public single-turn dialogues into multi-turn ones. Our work begins by analyzing language transformation and validating the feasibility of our proposed method. We conduct a study on dialogue diversity, including lexical features, semantic features, and dialogue topics, demonstrating the effectiveness of our method. Further, we employ our method to generate a large-scale, lifelike, and diverse dialogue dataset named SMILECHAT, consisting of 55k dialogues. Finally, we utilize the collected corpus to develop a mental health chatbot, MeChat. To better assess the quality of SMILECHAT, we collect a small-scale real-life counseling dataset conducted by data anonymization. Both automatic and human evaluations demonstrate significant improvements in our dialogue system and confirm that SMILECHAT is high-quality. Code, data, and model are publicly available at https://github.com/qiuhuachuan/smile.

研究の動機と目的

• 大規模で高品質かつプライバシーを保護した複数ターンメンタルヘルス対話データセットの不足を解消すること。
• 単一ターンの公開Q&Aから、多様で現実に近い複数ターン対話をスケーラブルかつ包括的に生成する手法を開発すること。
• LLM（例：ChatGPT）を用いたメンタルヘルス対話データの拡張が、意味的・語彙的豊かさを保持したまま有効に機能することを検証すること。
• メンタルヘルス支援対話エージェントの訓練と評価のベンチマークとしてのSmileChatデータセットを構築すること。
• 生成された複数ターンデータを用いて、既存のオープンソースチャットモデルの会話能力を向上させること。

提案手法

• SMILEアプローチは、微調整済みのプロンプトを用いて、ChatGPT（gpt-3.5-turbo）に単一ターンQAペアを自然で共感的な会話に模倣した複数ターン対話に再ライティングさせる。
• プロンプトは、元の意図を保持し、感情的な支援を含め、会話の流れの中で建設的な提案を組み込むように設計されている。
• 複数回の生成において、トピックや感情的トーン、応答構造の多様性を促すことで、多様性を確保している。
• 対照的分析を、SMILEを用いて生成したデータセットとそうでないデータセットの間で体系的に行い、対話の多様性、意味的豊かさ、現実性を評価している。
• 生成されたデータセット、SmileChatは、公開された単一ターンメンタルヘルスQ&AにSMILE手法を適用することで構築され、大規模で複数ターンのコーパスとなっている。
• 生成された対話の現実性と多様性を検証するため、自動指標と人的評価を含む定性的・定量的分析を通じて、アプローチの有効性を評価している。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（例：ChatGPT）は、感情的・意味的深さを保持したまま、現実的で複数ターンのメンタルヘルス対話に単一ターンのQ&Aを効果的に変換できるか？
• RQ2 SmileChatデータセットは、トピックの多様性、語彙的豊かさ、会話の現実性の観点で、既存のデータセットと比較してどのように異なるか？
• RQ3 SmileChatデータセットを用いることで、メンタルヘルス対話システムの感情的支援と建設的フィードバックの提供能力がどの程度向上するか？
• RQ4 生成された対話に、現実のメンタルヘルス対話に近いとされる主な特徴は何か？
• RQ5 複数ターン構造を含めることで、単一ターンデータと比較して、対話エージェントの訓練がどのように向上するか？

主な発見

• SMILE手法は、多様なトピック、語彙的特徴、意味的深さを備えた、大規模で多様で現実的なメンタルヘルス対話データセットであるSmileChatを効果的に生成した。
• 対照的分析により、非拡張データと比較して、生成された対話は高い現実性と感情的整合性を示した。
• 単一ターンまたはベースライン拡張手法と比較して、SmileChatデータセットは対話の多様性と意味的豊かさにおいて顕著な向上を示した。
• SmileChatデータセットを用いた微調整により、複数ターンの対話において感情的支援と建設的提案の提供能力が向上した。
• 個人を特定する情報が露出しない形で、公開Q&Aを新たな対話に変換することで、プライバシーを効果的に保護した。
• 人為的アノテーションや実際のユーザーからのデータ収集を必要としないため、スケーラブルでコスト効率の高いアプローチであり、高品質なメンタルヘルス対話データの生成が可能である。