[論文レビュー] Do Large Language Models Align with Core Mental Health Counseling Competencies?

Viet Cuong Nguyen, Mohammad Taher+9 more|arXiv (Cornell University)|Oct 29, 2024

Counseling Practices and SupervisionPsychology被引用数 3

ひとこと要約

本稿では、NCMHCEに由来する精神保健カウンセリングのコアな能力を評価するベンチマークであるCounselingBenchを紹介する。22種類の大規模言語モデル（LLMs）を対象に評価した結果、最先端のLLMsは受診、評価、診断の分野で最低限の適性を満たしているが、共感心に基づく能力、たとえばコアカウンセリング属性や専門的実践と倫理分野では専門家に劣っており、実世界への導入にあたっては、特別なファインチューニングと人的監視の必要性が浮き彫りになった。

ABSTRACT

The rapid evolution of Large Language Models (LLMs) presents a promising solution to the global shortage of mental health professionals. However, their alignment with essential counseling competencies remains underexplored. We introduce CounselingBench, a novel NCMHCE-based benchmark evaluating 22 general-purpose and medical-finetuned LLMs across five key competencies. While frontier models surpass minimum aptitude thresholds, they fall short of expert-level performance, excelling in Intake, Assessment & Diagnosis but struggling with Core Counseling Attributes and Professional Practice & Ethics. Surprisingly, medical LLMs do not outperform generalist models in accuracy, though they provide slightly better justifications while making more context-related errors. These findings highlight the challenges of developing AI for mental health counseling, particularly in competencies requiring empathy and nuanced reasoning. Our results underscore the need for specialized, fine-tuned models aligned with core mental health counseling competencies and supported by human oversight before real-world deployment. Code and data associated with this manuscript can be found at: https://github.com/cuongnguyenx/CounselingBench

研究の動機と目的

• 臨床的実践を支援できるかどうかを評価することで、世界的な精神保健専門職の不足に対処する。
• LLMsが、有効な精神保健ケアに不可欠なコアカウンセリング能力と一致しているかどうかを調査する。
• 共感心、倫理、文化的感受性といった主要分野におけるLLMsのパフォーマンスのギャップを同定する。
• 精神保健カウンセリングの文脈におけるLLMsを評価する標準化されたベンチマークを開発する。

提案手法

• NCMHCEに基づくベンチマーク、CounselingBenchを構築し、5つのカウンセリング能力にわたり1,619の選択肢式の質問を含めた。
• 一般向けおよび医療分野でファインチューニングされたモデルを含む22種類のLLMsを、これらの質問に対する回答について評価した。
• 質問を5つの能力カテゴリーに分類した：カウンセリングスキルおよび介入、受診および評価、専門的実践および倫理、治療計画、コアカウンセリング属性。
• 人間がアノテートしたラベルを用いて評価し、既存の臨床基準と整合性を保った。
• 一般モデルと医療分野でファインチューニングされたLLMsを含む、モデルタイプごとのパフォーマンスを比較した。
• エラーの種類と根拠の質を分析し、推論の深さと文脈的関連性を評価した。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、資格試験基準で定義されたコア精神保健カウンセリング能力と一致しているか？
• RQ2 一般向けLLMsと医療分野でファインチューニングされたLLMsは、主なカウンセリング能力においてどのようにパフォーマンスを発揮するか？
• RQ3 LLMsは、共感心、倫理的推論、人間中心の実践において、専門家水準の熟達をどの程度示しているか？
• RQ4 LLMsが、文脈に依存するおよび価値観に基づく分野において、主な失敗モードは何か？
• RQ5 選択肢式ベンチマーク、たとえばCounselingBenchは、精神保健カウンセリング分野における実際の臨床的熟達を信頼できる代理指標として提供できるか？

主な発見

• 最先端のLLMsは、受診、評価、診断分野で最低限の適性基準を超えており、平均して80％以上の正確性を達成している。
• 強力な診断性能にもかかわらず、LLMsはコアカウンセリング属性分野で専門家に劣っており、平均して50％未満の正確性を示している。
• 医療分野でファインチューニングされたLLMsは、一般モデルよりも正確性に優れていないが、わずかに文脈的に関連性の高い根拠を提供している。
• LLMsは一般モデルよりも文脈関連のエラーを多く犯しており、真の理解ではなく、トレーニングデータのパターンに過剰適合している可能性を示している。
• 専門的実践および倫理分野のパフォーマンスは特に弱く、正確性が60％未満であり、複雑な状況における倫理的意思決定の理解が限定的であることを示している。
• ベンチマークの結果から、選択肢式形式は共感心や洗練された推論の評価を単純化しすぎており、真の臨床的熟達を捉える能力に限界があることが明らかになった。