[论文解读] Developing an Effective and Automated Patient Engagement Estimator for Telehealth: A Machine Learning Approach

Pooja Guhan, Naman Awasthi+5 more|arXiv (Cornell University)|Nov 17, 2020

Digital Mental Health Interventions被引用 5

一句话总结

本文提出MET，一种多模态半监督机器学习框架，通过从视频、音频和文本中提取情感与认知特征，估算远程医疗中的患者参与度。该方法相比最先进方法将RMSE降低了40%，并与心理治疗师报告的治疗联盟评分呈现显著相关性（r = 0.40），展现出其在虚拟心理治疗会话中支持临床决策的潜力。

ABSTRACT

We discuss MET, a learning-based algorithm proposed for perceiving a patient's level of engagement during telehealth sessions. We leverage latent vectors corresponding to Affective and Cognitive features frequently used in psychology literature to understand a person's level of engagement in a semi-supervised GAN-based framework. We showcase the efficacy of this method from the perspective of mental health and more specifically how this can be leveraged for a better understanding of patient engagement during telemental health sessions. To further the development of similar technologies that can be useful for telehealth, we also plan to release a dataset MEDICA containing 1299 video clips, each 3 seconds long and show experiments on the same. Our framework reports a 40% improvement in RMSE (Root Mean Squared Error) over state-of-the-art methods for engagement estimation. In our real-world tests, we also observed positive correlations between the working alliance inventory scores reported by psychotherapists. This indicates the potential of the proposed model to present patient engagement estimations that aligns well with the engagement measures used by psychotherapists.

研究动机与目标

• 为解决远程医疗中传统非语言线索缺失且治疗师培训有限的挑战，测量患者参与度。
• 开发一种自动化、可靠且可解释的方法，利用多模态数据估算虚拟心理治疗会话中的患者参与度。
• 通过引入使用弱标签数据的生成对抗网络（GANs）的半监督方法，克服心理卫生应用中的数据稀缺问题。
• 通过提供与临床测量一致的实时AI驱动参与度估算，支持心理治疗师提升治疗联盟。
• 通过发布MEDICA数据集，促进开放研究，该数据集包含1,299段三秒长的视频片段，用于参与度估算。

提出的方法

• MET框架将心理学文献中的情感与认知特征整合到多模态机器学习模型中，使用视觉、音频和文本输入。
• 采用基于生成对抗网络（GANs）的半监督学习策略，利用有限的标注数据，在低数据环境下提升泛化能力。
• 提取表示情感状态（情绪）和认知特征（注意力、任务参与度）的潜在向量，并进行融合以估算参与度。
• 模型对视频片段进行微观层面分析，生成会话中每个时间片段的连续参与度评分。
• 构建并发布了新型数据集MEDICA，包含1,299段三秒长的视频片段，附带参与度标注，用于训练与评估。
• 使用来自远程治疗会话的真实世界数据对框架进行验证，将其估算结果与金标准治疗联盟量表（WAI）评分进行比较。

实验结果

研究问题

• RQ1 仅使用视频、音频和文本输入，机器学习模型能否准确估算远程医疗会话中的患者参与度？
• RQ2 所提出的模型与临床验证的治疗联盟测量指标（如治疗联盟量表，WAI）的相关性如何？
• RQ3 与基线方法相比，整合情感与认知心理学特征在多大程度上提升了参与度估算性能？
• RQ4 基于GAN的半监督方法在心理卫生应用中能否有效从有限标注数据中学习？
• RQ5 在RMSE和与临床评估的相关性方面，该模型的性能与最先进方法相比如何？

主要发现

• MET框架在患者参与度估算方面相比最先进方法将均方根误差（RMSE）降低了40%。
• 该模型与心理治疗师报告的治疗联盟量表（WAI）评分之间表现出统计显著的正相关性（皮尔逊相关系数 r = 0.40）。
• 参与度估算与WAI的中位数相关性为0.40，表明在不同会话片段中与临床评估高度一致。
• 该模型在与WAI的相关性上优于S3VM（r = -0.18）和LBP-TOP（r = -0.03），证实其更强的预测能力。
• 所提出的基于半监督GAN的训练策略有效应对了心理卫生AI应用中常见的数据稀缺问题。
• 发布包含1,299段标注视频片段的MEDICA数据集，为未来远程医疗中自动化参与度估算研究提供了支持。