[논문 리뷰] "Am I A Good Therapist?" Automated Evaluation Of Psychotherapy Skills Using Speech And Language Technologies.

Nikolaos Flemotomos, Víctor Martínez외 14명|arXiv (Cornell University)|2021. 02. 22.

Speech and dialogue systems참고 문헌 67인용 수 6

한 줄 요약

이 논문은 원시 음성 기록을 분석하여 상담사의 행동, 언어 사용 및 세션 역동성을 평가하는 자동화된 시스템을 제시한다. 이 시스템은 실제 5,000건의 세션에 배포되어 상담사 훈련 및 임상 품질 향상을 위해 실시간으로 세부적인 피드백을 제공한다.

ABSTRACT

With the growing prevalence of psychological interventions, it is vital to have measures which rate the effectiveness of psychological care, in order to assist in training, supervision, and quality assurance of services. Traditionally, quality assessment is addressed by human raters who evaluate recorded sessions along specific dimensions, often codified through constructs relevant to the approach and domain. This is however a cost-prohibitive and time-consuming method which leads to poor feasibility and limited use in real-world settings. To facilitate this process, we have developed an automated competency rating tool able to process the raw recorded audio of a session, analyzing who spoke when, what they said, and how the health professional used language to provide therapy. Focusing on a use case of a specific type of psychotherapy called Motivational Interviewing, our system gives comprehensive feedback to the therapist, including information about the dynamics of the session (e.g., therapist's vs. client's talking time), low-level psychological language descriptors (e.g., type of questions asked), as well as other high-level behavioral constructs (e.g., the extent to which the therapist understands the clients' perspective). We describe our platform and its performance, using a dataset of more than 5,000 recordings drawn from its deployment in a real-world clinical setting used to assist training of new therapists. We are confident that a widespread use of automated psychotherapy rating tools in the near future will augment experts' capabilities by providing an avenue for more effective training and skill improvement and will eventually lead to more positive clinical outcomes.

연구 동기 및 목표

• 인간 기반 정신치료 기술 평가의 높은 비용과 낮은 실현 가능성 문제를 해결하기 위해.
• 기록된 상담 세션을 분석하여 임상 능력을 평가할 수 있는 자동화된 시스템을 개발하기 위해.
• 훈련 및 감독 중 상담사에게 실행 가능한 데이터 기반 피드백을 제공하기 위해.
• 확장 가능한 기술 기반 평가를 통해 훈련 효율성과 임상 결과를 향상시키기 위해.

제안 방법

• 시스템은 원시 음성 기록을 처리하여 화자 전환을 탐지하고 음성 인식 기술을 사용해 음성을 텍스트로 변환한다.
• 자연어 처리 기법을 적용하여 상담사의 언어를 질문 유형, 정서적 어조 등 저수준 기술적 특성으로 분류한다.
• 상담사 대 비고객의 말하기 시간 비율 및 상호작용 균형 등 세션 수준의 지표를 계산한다.
• 언어적 및 논리적 특징을 기반으로 공감, 반복, 동기부여 상담 기법과 같은 고수준 상담 행동을 추론한다.
• 이 분석 결과를 통합하여 상담사가 사용할 수 있는 종합적인 피드백 대시보드를 구성한다.
• 이 시스템은 임상 현장에서 수집한 5,000건 이상의 실제 상담 세션 데이터셋을 기반으로 훈련 및 검증되었다.

실험 결과

연구 질문

• RQ1 자동화된 음성 및 언어 기술이 실제 상담 세션에서 동기부여 상담의 핵심 요소를 신뢰성 있게 평가할 수 있는가?
• RQ2 자동화된 시스템이 반복, 개방형 질문, 공감과 같은 상담사 행동을 얼마나 정확하게 탐지할 수 있는가?
• RQ3 자동화된 피드백이 상담사 훈련 및 기술 향상에 어느 정도 기여할 수 있는가?
• RQ4 자동화된 평가 도구는 실질적인 임상 현장에서 감독 및 품질 보증을 지원하기 위해 실제로 구현 가능한가?

주요 결과

• 시스템은 실제 5,000건 이상의 상담 기록을 성공적으로 분석하여 임상 현장 적용에서의 확장성을 입증했다.
• 반복, 개방형 질문, 환자 중심 언어와 같은 핵심 상담 행동을 정확하게 식별했다.
• 상담사와 환자의 말하기 시간 비율 등 세션 역동성에 대한 세부 피드백을 제공했다.
• 언어 패턴을 기반으로 상담사의 공감 능력 및 환자 관점 이해 정도와 같은 고수준 개념을 탐지했다.
• 제공된 피드백은 훈련 및 감독에 실질적으로 활용 가능했으며, 기술 향상에 기여했다.
• 이 플랫폼은 확장 가능한 자동 평가 기반으로 훈련 효율성과 임상 품질 향상에 크게 기여할 것으로 기대된다.