[논문 리뷰] Developing an Effective and Automated Patient Engagement Estimator for Telehealth: A Machine Learning Approach

Pooja Guhan, Naman Awasthi외 5명|arXiv (Cornell University)|2020. 11. 17.

Digital Mental Health Interventions인용 수 5

한 줄 요약

이 논문은 화상 통신 상황에서 영상, 음성, 텍스트에서 유도된 정서적 및 인지 기능을 바탕으로 환자의 참여도를 추정하는 다중모달 준지도 학습 기반 기계학습 프레임워크인 MET을 제안한다. 최신 기술 대비 RMSE에서 40% 향상되었으며, 정신치료사가 보고한 작업 연합 점수와 강한 상관관계(r = 0.40)를 보이며, 가상 정신건강 상담에서 임상적 의사결정 지원 잠재력을 입증한다.

ABSTRACT

We discuss MET, a learning-based algorithm proposed for perceiving a patient's level of engagement during telehealth sessions. We leverage latent vectors corresponding to Affective and Cognitive features frequently used in psychology literature to understand a person's level of engagement in a semi-supervised GAN-based framework. We showcase the efficacy of this method from the perspective of mental health and more specifically how this can be leveraged for a better understanding of patient engagement during telemental health sessions. To further the development of similar technologies that can be useful for telehealth, we also plan to release a dataset MEDICA containing 1299 video clips, each 3 seconds long and show experiments on the same. Our framework reports a 40% improvement in RMSE (Root Mean Squared Error) over state-of-the-art methods for engagement estimation. In our real-world tests, we also observed positive correlations between the working alliance inventory scores reported by psychotherapists. This indicates the potential of the proposed model to present patient engagement estimations that aligns well with the engagement measures used by psychotherapists.

연구 동기 및 목표

• 기존 비언어적 신호가 부재하고 제공자 훈련이 제한된 화상 정신건강 상담에서 환자의 참여도를 측정하는 데 있어 핵심 과제를 해결하기 위해.
• 다중모달 데이터를 활용하여 가상 정신건강 상담 중 환자의 참여도를 자동으로, 신뢰성 있게, 해석 가능한 방법으로 추정하는 방법을 개발하기 위해.
• 약한 레이블이 부여된 데이터를 활용하기 위해 GAN 기반 준지도 학습 기법을 도입함으로써 정신건강 분야에서 흔한 데이터 부족 문제를 해결하기 위해.
• 임상 평가 기준과 일치하는 실시간 AI 기반 참여도 추정을 제공함으로써 정신치료사가 치료 연합을 향상시키는 데 기여하기 위해.
• 오픈 연구를 촉진하기 위해 1,299개의 3초 분량 영상 클립을 포함한 MEDICA 데이터셋을 공개하기 위해.

제안 방법

• MET 프레임워크는 심리학 문헌에서 유도된 정서적 및 인지 기능을 시각, 청각, 텍스트 입력을 기반으로 하는 다중모달 기계학습 모델에 통합한다.
• 제한된 레이블 데이터를 효과적으로 활용하고 낮은 데이터 환경에서의 일반화 능력을 향상시키기 위해 생성적 적대 기반 네트워크(GANs)를 활용한 준지도 학습 전략을 채택한다.
• 정서 상태(정서적 상태) 및 주의, 작업 참여도(인지 기능)를 나타내는 잠재 벡터를 추출하고 융합하여 참여도 추정을 수행한다.
• 모델은 영상 클립에 대해 마이크로 수준 분석을 수행하여 세션 동안 시간 단위로 연속적인 참여도 점수를 생성한다.
• 실제 화상 상담 세션의 실세계 데이터를 활용하여 검증되었으며, 황금 표준인 작업 연합 척도(WAI) 점수와의 비교를 통해 성능을 평가하였다.
• 신규로 구축하고 공개한 데이터셋인 MEDICA는 1,299개의 3초 분량 영상 클립과 참여도 레이블을 포함하여 학습 및 평가에 사용된다.

실험 결과

연구 질문

• RQ1 영상, 음성, 텍스트 입력만을 사용하여 기계학습 모델이 화상 정신건강 상담에서 환자의 참여도를 정확하게 추정할 수 있는가?
• RQ2 제안된 모델은 작업 연합 척도(WAI)와 같은 임상적으로 검증된 치료 연합 측정치와 얼마나 잘 상관되는가?
• RQ3 정서적 및 인지 심리학적 기능을 통합할 경우, 기준 모델 대비 참여도 추정 성능이 얼마나 향상되는가?
• RQ4 준지도 학습 기반 GAN 기반 접근법이 정신건강 응용 분야에서 제한된 레이블 데이터로부터 효과적으로 학습할 수 있는가?
• RQ5 RMSE 및 임상 평가와의 상관관계 측면에서 최신 기술 대비 모델의 성능은 어떻게 비교되는가?

주요 결과

• MET 프레임워크는 환자의 참여도 추정에서 최신 기술 대비 루트 평균 제곱 오차(RMSE)를 40% 감소시켰다.
• 모델은 참여도 추정치와 정신치료사가 보고한 작업 연합 척도(WAI) 점수 사이에 통계적으로 유의미한 양의 상관관계(Pearson r = 0.40)를 보였다.
• WAI와의 참여도 추정치 중앙값 상관계수는 0.40이었으며, 이는 다양한 세션 세그먼트에서 임상 평가와의 강한 일치를 의미한다.
• 모델은 S3VM(r = -0.18)과 LBP-TOP(r = -0.03)를 모두 초월하여 WAI와의 상관계수에서 뛰어난 예측 능력을 입증하였다.
• 제안된 준지도 학습 기반 GAN 기반 학습 전략은 정신건강 AI 응용 분야에서 흔한 데이터 부족 문제를 효과적으로 해결하였다.
• 1,299개의 레이블이 부여된 영상 클립을 포함한 MEDICA 데이터셋의 공개는 향후 화상 정신건강 분야의 자동 참여도 추정 연구를 가능하게 한다.