[論文レビュー] From Classification to Clinical Insights: Towards Analyzing and Reasoning About Mobile and Behavioral Health Data With Large Language Models

Zachary Englhardt, Chengqian Ma+8 more|arXiv (Cornell University)|Nov 21, 2023

Digital Mental Health Interventions参考文献 57被引用数 4

ひとこと要約

本論文では、大規模言語モデル（LLM）を用いてモバイルおよび行動健康データから臨床的に意味のあるイン사이트を生成し、二値分類を越えて、相互作用的で人間とAIの協働を実現するアプローチを提案する。マルチセンサー・データ（例：歩数、睡眠時間）にコトネーション・チェーン・プロンプティングを適用することで、LLMは鬱病分類において61.1％の正確性を達成し、先行研究を上回った。臨床医は、AIが生成する推論を活用して患者と共同でデータを検討することに強く関心を示しており、治療的アライアンスの強化に寄与すると考えられる。

ABSTRACT

Passively collected behavioral health data from ubiquitous sensors holds significant promise to provide mental health professionals insights from patient's daily lives; however, developing analysis tools to use this data in clinical practice requires addressing challenges of generalization across devices and weak or ambiguous correlations between the measured signals and an individual's mental health. To address these challenges, we take a novel approach that leverages large language models (LLMs) to synthesize clinically useful insights from multi-sensor data. We develop chain of thought prompting methods that use LLMs to generate reasoning about how trends in data such as step count and sleep relate to conditions like depression and anxiety. We first demonstrate binary depression classification with LLMs achieving accuracies of 61.1% which exceed the state of the art. While it is not robust for clinical use, this leads us to our key finding: even more impactful and valued than classification is a new human-AI collaboration approach in which clinician experts interactively query these tools and combine their domain expertise and context about the patient with AI generated reasoning to support clinical decision-making. We find models like GPT-4 correctly reference numerical data 75% of the time, and clinician participants express strong interest in using this approach to interpret self-tracking data.

研究の動機と目的

• 従来の機械学習が、デバイス間で一般化性に欠け、行動的健康信号と精神的健康の相関が弱いという限界を克服するため、受動的でマルチセンサーの行動的健康データを分析する手法を改善すること。
• 大規模言語モデル（LLM）が、単なる二値分類を越えて、自己追跡データから臨床的に有用で解釈可能な推論を生成できるかを検討すること。
• 臨床医と患者が共同でLLMに質問し、行動トレンドを文脈的に解釈する人間-AI協働モデルの実現可能性と価値を評価すること。
• LLMを精神的健康分野に導入するにあたり、データ所有権、モデルの信頼性、過剰依存や模倣療法のリスクといった課題を特定すること。

提案手法

• コトネーション・チェーン・プロンプティングを用いて、LLMがマルチセンサー・データ（例：歩数、睡眠時間）のトレンドと鬱病や不安障害などの精神的健康状態との関係を推論できるように誘導する。
• LLMを用いて自己追跡データの鬱病二値分類を実施し、61.1％の正確性を達成した。これは、最先端のベンチマークを上回る結果であった。
• 精神科臨床医を対象に定性的インタビューを実施し、AIが生成する推論の価値と、臨床ワークフローへの統合への意欲を評価した。
• 臨床医と患者が両方ともLLMに質問できる協働型インタラクションモデルを設計し、臨床医がAIのインサイトを臨床的文脈と患者の病歴と統合して活用できるようにした。
• LLMの数値的正確性を評価するため、入力データ値を正しく参照する頻度を測定した（本研究ではGPT-4で75％の正確性）。
• アーキテクチャ的および展開上の考慮事項を検討した。特に、デバイス内推論やAppleおよびGoogleのプライバシー最優先アプローチを模範とする安全なデータ共有モデルを検討した。

実験結果

リサーチクエスチョン

• RQ1 LLMは、単なる分類を越えて、受動的モバイルおよびウェアラブルセンサー・データから臨床的に関連性があり、解釈可能な推論を生成できるか？
• RQ2 臨床的文脈において、患者の自己追跡データを解釈する際、臨床医はAIが生成するインサイトの価値をどのように評価するか？
• RQ3 LLMは行動データの数値的トレンドをどの程度正しく参照し、推論できるか。また、臨床現場においてその推論はどの程度信頼できるか？
• RQ4 LLMを精神的健康分野に統合するにあたり、過剰依存、データ所有権、模倣療法といったリスクや課題は何か？

主な発見

• LLMは、モバイルおよび行動的健康データを用いて鬱病の二値分類において61.1％の正確性を達成し、最先端の技術を上回った。
• 臨床医は、LLMを活用して患者と共同でデータを検討することに強く関心を示し、治療的アライアンスの強化に寄与すると考えている。
• GPT-4は入力データの数値を75％の確率で正しく参照しており、推論における事実的一貫性が著しく高い水準に達していることが示された。
• 主な臨床的価値は分類そのものではなく、臨床医と患者の対話を支援し、行動トレンドの共有解釈を促進するAI生成推論にあった。
• 臨床医は、LLMへの過剰依存が、一般的で一様な解釈を生み出し、臨床的判断を損なうリスクや、模倣療法のリスクを懸念している。
• 本研究は、患者と臨床医がAI駆動のインサイトに能動的に関与し、貢献できる、安全でプライバシーを尊重するデータアーキテクチャの構築が不可欠であることを強調している。