[論文レビュー] Bridging the Skills Gap: Evaluating an AI-Assisted Provider Platform to Support Care Providers with Empathetic Delivery of Protocolized Therapy

William R. Kearns, Jessica Bertram+6 more|PubMed|Jan 8, 2024

Digital Mental Health InterventionsPsychology参考文献 7被引用数 3

ひとこと要約

本研究は、AIが療法セッション中に共感的でプロトコル準拠の返答を提案するテキストベースの仮想療法インターフェース、AI支援医療提供者プラットフォーム（A2P2）を評価した。AI支援により、反応時間は29.34%短縮され、共感的反応の正確性は3倍に向上（p=0.0001）、プロバイダーの精神保健専門知識の有無に関わらず、目標推奨の正確性も66.67%向上した。臨床的スキルの格差を埋めるうえで、高い使いやすさと有効性を示した。

ABSTRACT

Despite the high prevalence and burden of mental health conditions, there is a global shortage of mental health providers. Artificial Intelligence (AI) methods have been proposed as a way to address this shortage, by supporting providers with less extensive training as they deliver care. To this end, we developed the AI-Assisted Provider Platform (A2P2), a text-based virtual therapy interface that includes a response suggestion feature, which supports providers in delivering protocolized therapies empathetically. We studied providers with and without expertise in mental health treatment delivering a therapy session using the platform with (intervention) and without (control) AI-assistance features. Upon evaluation, the AI-assisted system significantly decreased response times by 29.34% (p=0.002), tripled empathic response accuracy (p=0.0001), and increased goal recommendation accuracy by 66.67% (p=0.001) across both user groups compared to the control. Both groups rated the system as having excellent usability.

研究の動機と目的

• AIを活用して経験の浅い臨床職を支援することで、世界的な精神保健提供者の不足に対処すること。
• プロトコルに基づいた療法を効果的に行うためのテキストベースAIプラットフォームの開発。
• AI支援が、臨床的経験の異なるプロバイダーの間で、反応の質、速度、正確性を向上させるかどうかを評価すること。
• 非専門家および専門家プロバイダーの両方におけるAIシステムの使いやすさと実際の価値を評価すること。
• AI支援が、精神保健分野における臨床的スキルの格差を効果的に是正できるかどうかを特定すること。

提案手法

• プロトコルに基づいた療法のためのリアルタイムAI返答提案機能を備えたテキストベース仮想療法インターフェースを設計。
• 臨床ガイドラインと共感的コミュニケーションの原則に基づいたAI返答を生成するため、リtrieval-augmented generation（RAG）パイプラインを実装。
• 文脈に適した共感的かつプロトコル準拠の返答を生成できるように、微調整された大規模言語モデル（LLM）を統合。
• 精神保健専門家と非専門家という2つのプロバイダーグループを対象に、AI支援ありとなしの治療セッションを比較する制御研究を実施。
• 反応時間、共感的正確性、目標推奨正確性を評価するための自動化された指標を用いる。
• 両グループのユーザー体験を評価するため、使いやすさ尺度（例：System Usability Scale）を用いた使いやすさ評価を実施。

実験結果

リサーチクエスチョン

• RQ1 AI支援は、専門家および非専門家プロバイダーの両方において、プロトコルに基づいた療法セッション中の反応時間を短縮するか？
• RQ2 AI支援は、療法における共感的反応の正確性をどの程度向上させるか？
• RQ3 AI支援は、療法セッションにおける目標関連推奨の正確性にどのような影響を与えるか？
• RQ4 臨床的訓練の程度が異なるプロバイダーの間で、AIプラットフォームは使いやすく、価値があると感じられるか？
• RQ5 AI支援は、精神保健分野における専門家と非専門家プロバイダーの間の臨床的スキル格差を効果的に是正できるか？

主な発見

• AI支援システムは、対照群と比較して、プロバイダーの反応時間を29.34%短縮した（p=0.002）。
• AI支援条件下では、プロバイダーの専門知識の有無に関わらず、共感的反応の正確性が3倍に向上した（p=0.0001）。
• AI支援を用いることで、目標推奨の正確性は66.67%向上した（p=0.001）、治療プロトコルへの整合性が高まったことを示している。
• 専門家および非専門家プロバイダーの両方が、システムの使いやすさを非常に良いと評価し、使用のしやすさに有意差は認めなかった。
• プロバイダーのグループを問わず、AIシステムは一貫したパフォーマンス向上を示した。これは、経験の浅い臨床職が高品質で共感的なケアを提供するのを効果的に支援できることを示している。