[論文レビュー] Psy-LLM: Scaling up Global Mental Health Psychological Services with AI-based Large Language Models

Tin Lai, Yukun Shi+5 more|arXiv (Cornell University)|Jul 22, 2023

Mental Health via Writing被引用数 34

ひとこと要約

tldr: Psy-LLMは、専門的なQ&Aおよびクロールされた心理データ上でPanGuとWenZhongをファインチューニングすることにより、オンライン心理相談のAIベースのフロントエンドツールを提案し、困惑度と人間の評価で評価され、臨床医を支援し緊急案件をスクリーニングする。

ABSTRACT

The demand for psychological counselling has grown significantly in recent years, particularly with the global outbreak of COVID-19, which has heightened the need for timely and professional mental health support. Online psychological counselling has emerged as the predominant mode of providing services in response to this demand. In this study, we propose the Psy-LLM framework, an AI-based assistive tool leveraging Large Language Models (LLMs) for question-answering in psychological consultation settings to ease the demand for mental health professions. Our framework combines pre-trained LLMs with real-world professional Q\&A from psychologists and extensively crawled psychological articles. The Psy-LLM framework serves as a front-end tool for healthcare professionals, allowing them to provide immediate responses and mindfulness activities to alleviate patient stress. Additionally, it functions as a screening tool to identify urgent cases requiring further assistance. We evaluated the framework using intrinsic metrics, such as perplexity, and extrinsic evaluation metrics, with human participant assessments of response helpfulness, fluency, relevance, and logic. The results demonstrate the effectiveness of the Psy-LLM framework in generating coherent and relevant answers to psychological questions. This article discusses the potential and limitations of using large language models to enhance mental health support through AI technologies.

研究の動機と目的

• 認定されたメンタルヘルス専門職の不足をAI支援によるオンライン心理相談の実現で解消する。
• 専門家が即時の回答とマインドフルネス活動を提供し、緊急案件をスクリーニングする前線ツールを開発する。
• 事前学習済みの中国語LLMとドメイン固有のQ&Aデータを組み合わせて、カウンセリングの品質とアクセス性を向上させる。
• 内在的（困惑度）および外在的（人間の評価）指標と実世界の導入フィードバックを用いてフレームワークを評価する。

提案手法

• ベースとしてPanGuとWenZhongの大規模事前学習済み中国語言語モデルを活用する。
• PsyQA（22,000件の質問と56,000件の回答）および広範なクロール済み中国語心理学記事でファインチューニングする。
• データを収集・精製する（重複、広告、短いサンプル、URL、ユーザー名の削除、句読点の正規化）して高品質な学習コーパスを作成する。
• PanGu 350Mを2.85GBの心理学コーパスで訓練し、PsyQAデータでファインチューニングする。収束のために100,000回の反復を用いる。
• 追加のファインチューニングのためWenZhong-110Mを組み込み、データ処理をモデル要件（トークナイズ、最大系列長）に適合させる。
• 困惑度によるデータ品質評価と専門家心理学者の評価で評価し、ユーザーフィードバックと反復改良のための専用ウェブサイトを展開する。

実験結果

リサーチクエスチョン

• RQ1 Psy-LLMはオンライン相談の文脈で、一貫性があり、関連性が高く、専門的な心理的回答をどの程度効果的に生成できるか。
• RQ2 高需要期間において人間のカウンセラーの負担を軽減し、緊急案件のスクリーニングを支援することで、Psy-LLMは人間のカウンセラーを支援できるか。
• RQ3 中国語の心理学に焦点を当てたQAにおけるベースモデルとして、PanGuとWenZhongの比較影響はどうか。
• RQ4 AI支援回答を備えたWebベースのフロントエンドは、メンタルヘルス支援へのアクセスを改善し、支援を求める際のスティグマを低減するか。

主な発見

• サーバー上で展開された場合、フレームワークは数秒以内にユーザーへ回答を生成できる。
• PsyQAとクロール済み中国語心理学データを組み合わせたデータパイプラインは、PanGu 350MとWenZhong-110Mのファインチューニングに用いられる学習コーパスを生み出す。
• 困惑度ベースのデータ品質評価に、専門の心理学者のレビューを補完して、データクリーニングとモデル訓練を指示した。
• データセットは約400,000サンプルで構成され、ほとんどのデータはTianya（約2GB）から、ZhihuとYixinliの寄与を含み、ドメイン関連のコンテンツを反映している。
• このアプローチは、臨床医支援（支援ツール）と、人間のカウンセラーが利用できない時間帯の患者向けオンライン相談の両方を対象とする。
• 本研究は、メンタルヘルス支援への大規模言語モデル適用の潜在的な利点と制限を、倫理と信頼性の考慮を含めて検討している。