[논문 리뷰] From Classification to Clinical Insights: Towards Analyzing and Reasoning About Mobile and Behavioral Health Data With Large Language Models

Zachary Englhardt, Chengqian Ma외 8명|arXiv (Cornell University)|2023. 11. 21.

Digital Mental Health Interventions참고 문헌 57인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 활용해 모바일 및 행동 건강 데이터에서 임상적으로 의미 있는 통찰을 도출하는 것을 제안하며, 이는 이진 분류를 넘어서 상호작용적이고 인간-AI 협업 방식으로의 전환을 의미한다. 다중 센서 데이터(예: 보행 수, 수면 시간)에 체인 오브 써포트 프롬프팅을 적용한 결과, LLMs는 우울증 분류에서 61.1%의 정확도를 달성하여 이전 연구를 뛰어넘었으며, 임상의들은 AI가 생성한 추론을 환자와 함께 환자 데이터를 탐색하는 데 활용하고자 하는 강한 관심을 보였다. 이는 치료적 유대감을 강화하는 데 기여한다.

ABSTRACT

Passively collected behavioral health data from ubiquitous sensors holds significant promise to provide mental health professionals insights from patient's daily lives; however, developing analysis tools to use this data in clinical practice requires addressing challenges of generalization across devices and weak or ambiguous correlations between the measured signals and an individual's mental health. To address these challenges, we take a novel approach that leverages large language models (LLMs) to synthesize clinically useful insights from multi-sensor data. We develop chain of thought prompting methods that use LLMs to generate reasoning about how trends in data such as step count and sleep relate to conditions like depression and anxiety. We first demonstrate binary depression classification with LLMs achieving accuracies of 61.1% which exceed the state of the art. While it is not robust for clinical use, this leads us to our key finding: even more impactful and valued than classification is a new human-AI collaboration approach in which clinician experts interactively query these tools and combine their domain expertise and context about the patient with AI generated reasoning to support clinical decision-making. We find models like GPT-4 correctly reference numerical data 75% of the time, and clinician participants express strong interest in using this approach to interpret self-tracking data.

연구 동기 및 목표

• 기존 기계학습 기법이 수동적이고 다중 센서 기반의 행동 건강 데이터를 분석할 때 기기 간 일반화 능력 부족과 신호-정신건강 상관관계 약화 등의 문제를 해결하기 위해.
• 대규모 언어 모델(LLMs)이 이진 분류를 넘어서 실질적인 임상적 통찰을 도출할 수 있는 해석 가능한 추론을 자가추적 데이터에서 생성할 수 있는지 탐색하기 위해.
• 임상의와 환자가 함께 LLM을 활용해 행동 추세를 맥락 속에서 해석하는 인간-AI 협업 모델의 타당성과 인식된 가치를 평가하기 위해.
• LLMs를 정신건강 분야에 도입할 때 발생할 수 있는 도전 과제, 특히 데이터 소유권, 모델 신뢰성, 과도한 의존도 또는 모의 치료 위험 등을 규명하기 위해.

제안 방법

• 다중 센서 데이터(예: 보행 수, 수면 시간)의 추세와 정신건강 상태(예: 우울증, 불안) 간 관계에 대해 LLM이 추론하도록 체인 오브 써포트 프롬프팅을 적용함.
• 자기추적 데이터를 기반으로 LLM을 활용해 이진 우울증 분류를 수행하여, 기존 최고 수준의 기준을 초월하는 61.1%의 정확도를 달성함.
• 임상의들이 AI가 생성한 추론의 가치를 어떻게 평가하고, 임상 워크플로에 이러한 도구를 통합하고자 하는지 평가하기 위해 정성적 인터뷰를 실시함.
• 임상의와 환자가 모두 LLM에 질의할 수 있는 협업형 상호작용 모델을 설계하였으며, 임상의는 AI의 통찰을 임상적 맥락과 환자 병력과 융합하여 활용함.
• LLM의 수치 정확도를 평가하기 위해 입력 데이터 값에 대해 얼마나 자주 정확히 참조하는지 측정함(이 연구에서 GPT-4의 경우 75% 정확도).
• 기기 내 추론 및 애플과 구글의 프라이버시 중심 접근 방식을 모델로 삼은 안전한 데이터 공유 모델을 포함한 아키텍처 및 구현 고려사항을 탐색함.

실험 결과

연구 질문

• RQ1 LLMs는 단순한 분류를 넘어서 수동적인 모바일 및 웨어러블 센서 데이터에서 임상적으로 관련성 있고 해석 가능한 추론을 생성할 수 있는가?
• RQ2 임상적 맥락에서 환자 자가추적 데이터를 해석할 때, 임상의들은 AI가 생성한 통찰의 가치를 어떻게 평가하는가?
• RQ3 LLMs는 행동 데이터의 수치적 추세를 얼마나 정확히 참조하고 추론할 수 있으며, 이러한 추론은 임상적 환경에서 얼마나 신뢰할 수 있는가?
• RQ4 정신건강 진료에 LLMs를 통합할 때 발생할 수 있는 위험과 과제는 무엇인가? 특히 과도한 의존, 데이터 소유권, 모의 치료 문제에 대해.

주요 결과

• LLMs는 모바일 및 행동 건강 데이터를 활용해 이진 우울증 분류에서 61.1%의 정확도를 달성하여 기존 최고 수준의 성능을 초월함.
• 임상의들은 환자와 함께 LLM을 활용해 환자 데이터를 공동 탐색하고자 하는 강한 관심을 보였으며, 이는 치료적 유대감을 강화하는 수단으로 여겨짐.
• GPT-4는 입력된 수치적 데이터를 75%의 비율로 정확히 참조하여 추론 과정에서 상당한 사실 일관성을 확보함.
• 주요 임상적 가치는 분류 기능 자체가 아니라, 임상의-환자 대화를 지원하고 행동 추세를 공동으로 해석하는 데 기여하는 AI가 생성한 추론에 있음.
• 임상의들은 LLM에 과도하게 의존할 경우 일반화된, 한 가지 크기만 맞는 해석이 가능해지고 치료를 모의하는 위험이 있어 임상적 판단을 약화시킬 수 있다는 우려를 제기함.
• 이 연구는 환자와 임상의가 모두 AI 기반 통찰에 적극적으로 참여하고 기여할 수 있는 보안적이고 프라이버시를 보장하는 데이터 아키텍처의 필요성을 강조함.