[論文レビュー] Interactive Agents: Simulating Counselor-Client Psychological Counseling via Role-Playing LLM-to-LLM Interactions

Huachuan Qiu, Zhenzhong Lan|arXiv (Cornell University)|Aug 28, 2024

Artificial Intelligence in Law被引用数 4

ひとこと要約

本論文は、2体のGPT-4モデルを用いたロールプレイ型LLM対LLMフレームワークを提案する。1体は現実の人物プロフィールを持つクライアントとして、もう1体は統合的療法を用いる経験豊富なカウンセラーとして機能する。この手法により、人間の対話に類似したプライバシー保護型の対話が合成され、対話品質およびカウンセラー行動の類似性において優れた性能を示し、人的アノテーションデータに代わるスケーラブルな代替手段を提供する。

ABSTRACT

Virtual counselors powered by large language models (LLMs) aim to create interactive support systems that effectively assist clients struggling with mental health challenges. To replicate counselor-client conversations, researchers have built an online mental health platform that allows professional counselors to provide clients with text-based counseling services for about an hour per session. Notwithstanding its effectiveness, challenges exist as human annotation is time-consuming, cost-intensive, privacy-protected, and not scalable. To address this issue and investigate the applicability of LLMs in psychological counseling conversation simulation, we propose a framework that employs two LLMs via role-playing for simulating counselor-client interactions. Our framework involves two LLMs, one acting as a client equipped with a specific and real-life user profile and the other playing the role of an experienced counselor, generating professional responses using integrative therapy techniques. We implement both the counselor and the client by zero-shot prompting the GPT-4 model. In order to assess the effectiveness of LLMs in simulating counselor-client interactions and understand the disparities between LLM- and human-generated conversations, we evaluate the synthetic data from various perspectives. We begin by assessing the client's performance through automatic evaluations. Next, we analyze and compare the disparities between dialogues generated by the LLM and those generated by professional counselors. Furthermore, we conduct extensive experiments to thoroughly examine the performance of our LLM-based counselor trained with synthetic interactive dialogues by benchmarking against state-of-the-art models for mental health.

研究の動機と目的

• 人的アノテーションによる精神的健康カウンセリングデータのスケーラビリティ、コスト、プライバシーの制限を解決すること。
• 実際の人の参加者に依存せずに、現実的でインタラクティブなカウンセラー・クライアント対話をシミュレートすること。
• LLMが生成した対話の品質および治療的妥当性を、人的に生成されたセッションと比較して評価すること。
• 合成データで微調整されたLLMベースのカウンセラーを、最先端の精神的健康対話モデルとベンチマーク比較すること。
• LLMを用いた心理的カウンセリングシミュレーションにおける倫理的および実務的課題を検討すること。

提案手法

• ゼロショットのロールプレイ設定で2体のGPT-4モデルを用いる：1体は事前に定義された現実のユーザープロフィールを持つクライアントとして、もう1体は統合的療法技法に精通したカウンセラーとして機能する。
• クライアントモデルは、現実性を高めるために、個人的で文脈的な詳細を含む特定の精神的健康問題を模倣するようにプロンプトされる。
• カウンセラー・モデルは、探求、自己理解、行動計画の促進に焦点を当てた統合的療法アプローチを用いて応答を生成する。
• 反復的かつ双方向の対話によって、実際のセッションを模倣した合成対話を生成する。
• 複数の指標を用いて、対話品質の自動評価および人的に生成されたセッションとの比較が可能となる。
• 今後の改善のため、リtrieval-augmented generation (RAG) およびプロンプト最適化が提案されている。

実験結果

リサーチクエスチョン

• RQ1 RQ1: LLMは、ロールプレイを通じて、どのようにして効果的かつ自動的にカウンセラー・クライアント対話を模倣できるか？
• RQ2 RQ2: 専門的人類カウンセラーが生成するものと比較して、LLMが生成する対話の品質および治療的妥当性はどの程度か？
• RQ3 RQ3: 合成データで微調整されたLLMベースのカウンセラーは、最先端の精神的健康対話モデルと比較して、どの程度の性能を示すか？
• RQ4 RQ4: LLMを用いてクライアントおよびカウンセラーの両方をシミュレートすることの倫理的リスクと制限は何か？
• RQ5 RQ5: クライアントの抵抗反応およびセッションの進行が、LLMが生成する対話の品質および深さにどのように影響するか？

主な発見

• LLMベースのカウンセラーが生成する対話は、自動評価指標で測定したところ、専門的人類カウンセラーが生成するものと構造的・治療的質において極めて類似している。
• 合成対話は高い一貫性、感情的関与、統合的療法技法の適切な適用を示しており、高い現実性を示している。
• 合成データで微調整されたLLMベースのカウンセラーは、精神的健康対話ベンチマークにおいて、最先端のモデルと比較して競争力のある性能を示している。
• ロールプレイフレームワークは、定義されたクライアントプロフィールを伴い、完全なカウンセリングセッションを効果的にシミュレートできており、スケーラビリティとプライバシー保護の両面で優れている。
• 不適切な助言、簡素化されたクライアントモデル化、およびカウンセリングの深さの制限といった倫理的懸念が、LLMシミュレーションにおける主な制限要因として特定された。
• 本研究は、LLMが高品質でプライバシーに配慮したカウンセリング対話を生成できることを確認しており、人的アノテーションデータ収集の代替手段として実用的であることを示している。