[論文レビュー] Developing an Effective and Automated Patient Engagement Estimator for Telehealth: A Machine Learning Approach

Pooja Guhan, Naman Awasthi+5 more|arXiv (Cornell University)|Nov 17, 2020

Digital Mental Health Interventions被引用数 5

ひとこと要約

本論文では、動画、音声、テキストから得られる感情的および認知的特徴を用いて、テレヘルスにおける患者の関与度を推定するマルチモーダル自己教師あり機械学習フレームワークであるMETを提案する。本手法は、最先端手法と比較してRMSEで40%の改善を達成し、心理療法士が報告した作業連携スコア（r = 0.40）とも強い相関を示し、仮想精神保健セッションにおける臨床意思決定支援の可能性を示している。

ABSTRACT

We discuss MET, a learning-based algorithm proposed for perceiving a patient's level of engagement during telehealth sessions. We leverage latent vectors corresponding to Affective and Cognitive features frequently used in psychology literature to understand a person's level of engagement in a semi-supervised GAN-based framework. We showcase the efficacy of this method from the perspective of mental health and more specifically how this can be leveraged for a better understanding of patient engagement during telemental health sessions. To further the development of similar technologies that can be useful for telehealth, we also plan to release a dataset MEDICA containing 1299 video clips, each 3 seconds long and show experiments on the same. Our framework reports a 40% improvement in RMSE (Root Mean Squared Error) over state-of-the-art methods for engagement estimation. In our real-world tests, we also observed positive correlations between the working alliance inventory scores reported by psychotherapists. This indicates the potential of the proposed model to present patient engagement estimations that aligns well with the engagement measures used by psychotherapists.

研究の動機と目的

• テレヘルスにおいて従来の非言語的サインが欠落している状況や、提供者に対する訓練が限られているという、患者の関与度を測定するという重要な課題に対処すること。
• マルチモーダルデータを用いて、仮想精神保健セッション中の患者の関与度を自動的かつ信頼性があり説明可能な方法で推定する手法を開発すること。
• 精神保健分野の応用において一般的なデータ不足に対処するため、弱教師ありデータを用いたGANを活用する自己教師ありアプローチを導入すること。
• 臨床的指標と一致するリアルタイムのAI駆動の関与度推定を提供することで、心理療法士が治療的連携を強化できるように支援すること。
• オープンリサーチを促進するため、1,299の3秒間の動画クリップから構成されるMEDICAデータセットを公開すること。

提案手法

• METフレームワークは、心理学文献に由来する感情的および認知的特徴を、視覚的、音声的、文書的入力からのマルチモーダル機械学習モデルに統合する。
• 生成対抗ネットワーク（GANs）を用いた自己教師あり学習戦略を採用し、限られたラベル付きデータを有効に活用することで、データが少ない状況下でも一般化性能を向上させる。
• 感情状態（感情的特徴）および注意、タスクへの関与度（認知的特徴）を表す潜在ベクトルを抽出し、統合して関与度を推定する。
• モデルは動画クリップに対してミクロレベルの分析を実施し、セッション中の各時間セグメントごとに連続的な関与度スコアを生成する。
• 本研究では、トレーニングおよび評価用に関与度のアノテーションが付与された1,299の3秒間の動画クリップを含む、新規のデータセットMEDICAを構築し公開する。
• フレームワークは、実世界のテレセラピーセッションから得たデータを用いて検証され、ゴールスタンダードの作業連携インventry（WAI）スコアと照合された。

実験結果

リサーチクエスチョン

• RQ1 動画、音声、テキストの入力のみを用いて、機械学習モデルがテレヘルスセッション中の患者の関与度を正確に推定できるか？
• RQ2 提案されたモデルは、作業連携インベントリ（WAI）のような臨床的に妥当な治療的連携の指標とどの程度相関するか？
• RQ3 感情的および認知的心理学的特徴を組み込むことで、ベースライン手法と比較して関与度推定のパフォーマンスがどの程度向上するか？
• RQ4 弱教師ありGANベースのアプローチは、精神保健分野の応用において限られたラベル付きデータから効果的に学習できるか？
• RQ5 RMSEおよび臨床的評価との相関という観点から、本モデルのパフォーマンスは最先端手法と比較してどの程度優れているか？

主な発見

• METフレームワークは、患者の関与度推定において、最先端手法と比較して40%のRMSE低減を達成した。
• モデルは、心理療法士が報告した作業連携インベントリ（WAI）スコアとの間に統計的に有意な正の相関（ピアソンのr = 0.40）を示した。
• WAIとの関与度推定の中央値相関は0.40であったため、多様なセッションセグメントにおいて臨床的評価と強い整合性を示した。
• 本モデルは、S3VM（r = -0.18）およびLBP-TOP（r = -0.03）を上回り、WAIとの相関性において優れた予測能力を確認した。
• 提案された自己教師ありGANベースのトレーニング戦略は、精神保健分野のAI応用で一般的なデータ不足問題を効果的に扱えることを示した。
• 1,299のアノテート済み動画クリップを含むMEDICAデータセットの公開により、将来的なテレヘルスにおける自動関与度推定研究が可能になった。