[論文レビュー] Enhancing Psychological Counseling with Large Language Model: A Multifaceted Decision-Support System for Non-Professionals

Guanghui Fu, Qing Zhao+10 more|arXiv (Cornell University)|Aug 29, 2023

Mental Health via Writing被引用数 17

ひとこと要約

本論文は、オンラインの心理介入を支援する大規模言語モデル（LLM）ベースのカウンセラ支援システムを提案し、複数の次元で専門家評価を用いて検証しています。

ABSTRACT

In the contemporary landscape of social media, an alarming number of users express negative emotions, some of which manifest as strong suicidal intentions. This situation underscores a profound need for trained psychological counselors who can enact effective mental interventions. However, the development of these professionals is often an imperative but time-consuming task. Consequently, the mobilization of non-professionals or volunteers in this capacity emerges as a pressing concern. Leveraging the capabilities of artificial intelligence, and in particular, the recent advances in large language models, offers a viable solution to this challenge. This paper introduces a novel model constructed on the foundation of large language models to fully assist non-professionals in providing psychological interventions on online user discourses. This framework makes it plausible to harness the power of non-professional counselors in a meaningful way. A comprehensive study was conducted involving ten professional psychological counselors of varying expertise, evaluating the system across five critical dimensions. The findings affirm that our system is capable of analyzing patients' issues with relative accuracy and proffering professional-level strategies recommendations, thereby enhancing support for non-professionals. This research serves as a compelling validation of the application of large language models in the field of psychology and lays the groundwork for a new paradigm of community-based mental health support.

研究の動機と目的

• 訓練を受けた心理カウンセラーの不足を解消し、非専門家が Online 的な心理サポートを提供できるようにする。
• 安全でプライバシーを意識したシステムを開発し、分析と応答戦略の支援を行う。
• 専門家評価を通じて、複数回の対話におけるシステムの有効性と安全性を検証する。

提案手法

• カウンセラーが初期応答とクライアントのコメントを入力するLLM-counselor supportワークフローを構築し、カウンセラーによるレビュー用に強化されたReply+を提供する。
• 処理前に特定可能なデータをマスクするため、正規表現を用いた個人情報フィルタリングを実装する。
• AIの役割・タスク・境界・文脈・エラーハンドリング・リソース・認知の歪みの識別・入力/出力フォーマットを定義する構造化プロンプトを設計する。
• 生成内容を埋め込みとベクトルデータベースを用いてオフェンシブなデータセットと比較するデトックス化パイプラインを用い、非攻撃的な出力を保証する（閾値 α = 0.2）。
• LLMの出力からレポートを生成し、人間のカウンセラーによって評価して、5つの次元で正確さと安全性を評価する。
• 専門家の監修、倫理的制約、実世界展開の潜在的制限など、システム設計上の考慮事項を検討する。

実験結果

リサーチクエスチョン

• RQ1 LLM-counselorシステムは、クライアントの問題と認知の歪みを専門家標準と同等の正確さで分析できるか。
• RQ2 生成された言語戦略は、非専門家カウンセラーにとって適切で効果的か。
• RQ3 安全性とプライバシーを維持しつつ、次のステップに有用な提案をシステムは提供できるか。
• RQ4 単回対話と複数回対話におけるシステム生成レポートの専門家評価はどの程度信頼できるか。
• RQ5 ソーシャルメディア文脈でこのようなシステムを展開する際の主な制限と安全上の懸念は何か。

主な発見

• 専門家は、患者の問題分析において高い正確さを示した（単回 ≈93%、複回 ≈97.5%）。
• 認知の歪み分析の正確さは高かった（単回 ≈91.5%、複回 ≈95%）。
• カウンセラーの行動分析の正確さは単回で高かった（≈94.5%）、複回コンテキストではやや低かった（≈85%）。
• 言語戦略の適切性は単回で約84%、複回で約78.75%であり、不確実性が顕著だった。
• 次のステップ提案は、単回の評価で約87%の正確さ、複回の評価で約82.5%の正確さをもって提供された。
• Krippendorff’s Alphaは高い評価者間信頼性を示した（単回0.98、複回0.95）。