[논문 리뷰] Bridging the Skills Gap: Evaluating an AI-Assisted Provider Platform to Support Care Providers with Empathetic Delivery of Protocolized Therapy

William R. Kearns, Jessica Bertram외 6명|PubMed|2024. 01. 08.

Digital Mental Health InterventionsPsychology참고 문헌 7인용 수 3

한 줄 요약

이 연구는 AI 보조 제공자 플랫폼(A2P2)을 평가한다. A2P2는 치료 세션 중에 공감적이고 지침에 부합하는 응답을 제안하는 텍스트 기반 가상 치료 인터페이스이다. 이는 응답 시간을 29.34% 감소시켰고, 공감 응답 정확도를 3배로 높였으며(p=0.0001), 정신건강 전문 지식이 있는지 여부에 관계없이 목표 추천 정확도를 66.67% 향상시켰다. 이는 임상 기술 격차를 메우는 데 있어 뛰어난 사용성과 효과성을 입증한다.

ABSTRACT

Despite the high prevalence and burden of mental health conditions, there is a global shortage of mental health providers. Artificial Intelligence (AI) methods have been proposed as a way to address this shortage, by supporting providers with less extensive training as they deliver care. To this end, we developed the AI-Assisted Provider Platform (A2P2), a text-based virtual therapy interface that includes a response suggestion feature, which supports providers in delivering protocolized therapies empathetically. We studied providers with and without expertise in mental health treatment delivering a therapy session using the platform with (intervention) and without (control) AI-assistance features. Upon evaluation, the AI-assisted system significantly decreased response times by 29.34% (p=0.002), tripled empathic response accuracy (p=0.0001), and increased goal recommendation accuracy by 66.67% (p=0.001) across both user groups compared to the control. Both groups rated the system as having excellent usability.

연구 동기 및 목표

• 경험이 적은 임상의를 지원하기 위해 AI를 활용하여 전 세계 정신건강 제공자의 부족을 해소한다.
• 지침에 따라 공감적으로 작동하는 텍스트 기반 AI 플랫폼을 개발한다.
• AI 보조 기능이 다양한 임상 전문성 수준을 가진 제공자들 사이에서 응답 품질, 속도, 정확도 향상에 기여하는지 평가한다.
• 비전문가 및 전문가 제공자 모두가 AI 시스템의 사용성과 실질적 가치를 어떻게 평가하는지 평가한다.
• AI 지원이 정신건강 제공 분야에서 전문가와 비전문가 간의 임상 기술 격차를 효과적으로 줄일 수 있는지 규명한다.

제안 방법

• 지침에 따라 치료를 제공하는 데 중점을 두고 실시간 AI 응답 제안 기능을 갖춘 텍스트 기반 가상 치료 인터페이스를 설계한다.
• AI 응답을 임상 지침과 공감 커뮤니케이션 원칙에 기반하게 하기 위해 검색 기반 생성(RAG) 파이프라인을 구현한다.
• 맥락에 적절하고 공감적이며 지침에 부합하는 응답을 생성하기 위해 미세조정된 LLM을 통합한다.
• 정신건강 전문가와 비전문가로 구성된 두 그룹의 제공자 간에 AI 보조 및 비보조 치료 세션을 비교하는 제어 연구를 수행한다.
• 자동화된 메트릭을 사용하여 응답 시간, 공감 정확도, 목표 추천 정확도를 평가한다.
• 사용자 경험 평가(예: 사용성 척도)를 적용하여 두 그룹 모두에서 사용자 경험을 평가한다.

실험 결과

연구 질문

• RQ1 AI 보조 기능이 전문가 및 비전문가 제공자 모두가 지침 기반 치료 세션 동안 응답 시간을 단축시키는가?
• RQ2 AI 보조 기능이 치료 제공 과정에서 공감 응답의 정확도를 어느 정도 향상시키는가?
• RQ3 AI 보조 기능이 치료 세션에서 목표 관련 추천의 정확도에 어떤 영향을 미치는가?
• RQ4 다양한 임상 훈련 수준을 가진 제공자들이 AI 플랫폼을 사용성과 가치 측면에서 어떻게 평가하는가?
• RQ5 AI 지원이 정신건강 제공 분야에서 전문가와 비전문가 제공자 간의 임상 기술 격차를 효과적으로 줄일 수 있는가?

주요 결과

• AI 보조 시스템은 제어 조건 대비 제공자 응답 시간을 29.34% 감소시켰다(p=0.002).
• AI 보조 조건에서는 공감 응답 정확도가 3배로 향상되었으며(p=0.0001), 제공자의 전문성 수준에 관계없이 동일하게 나타났다.
• AI 보조 기능을 사용할 경우 목표 추천 정확도가 66.67% 향상되었다(p=0.001), 이는 치료 지침과의 높은 일치도를 의미한다.
• 전문가 및 비전문가 제공자 모두가 시스템의 사용성에 대해 뛰어나다고 평가했으며, 사용 편의성에 있어 유의미한 차이가 없었다.
• AI 시스템은 제공자 그룹 간 일관된 성능 향상을 보였으며, 이는 경험 부족한 임상의가 높은 품질의 공감 치료를 제공하는 데 효과적으로 지원할 수 있음을 시사한다.