[논문 리뷰] Transforming Wearable Data into Personal Health Insights using Large Language Model Agents

Mike A. Merrill, Akshay Paruchuri외 18명|arXiv (Cornell University)|2024. 06. 10.

Topic Modeling인용 수 7

한 줄 요약

PHIA는 LLM 기반 에이전트를 사용하여 코드 생성과 웹 검색으로 웨어러블 데이터를 개인화된 건강 인사이트로 변환하며, 인간 평가에서 목표 질의에서 84% 정확도와 열린 형식 질의에서 83% 호의적 평가를 달성했다. 강력한 코드 생성 기준선보다 현저히 우수하다.

ABSTRACT

Deriving personalized insights from popular wearable trackers requires complex numerical reasoning that challenges standard LLMs, necessitating tool-based approaches like code generation. Large language model (LLM) agents present a promising yet largely untapped solution for this analysis at scale. We introduce the Personal Health Insights Agent (PHIA), a system leveraging multistep reasoning with code generation and information retrieval to analyze and interpret behavioral health data. To test its capabilities, we create and share two benchmark datasets with over 4000 health insights questions. A 650-hour human expert evaluation shows that PHIA significantly outperforms a strong code generation baseline, achieving 84% accuracy on objective, numerical questions and, for open-ended ones, earning 83% favorable ratings while being twice as likely to achieve the highest quality rating. This work can advance behavioral health by empowering individuals to understand their data, enabling a new era of accessible, personalized, and data-driven wellness for the wider population.

연구 동기 및 목표

• 웨어러블 시계열 데이터로부터 데이터 기반의 개인화된 건강 인사이트를 동기를 부여하고 가능하게 한다.
• 외부 도구(코드 및 검색)를 사용한 다단계 수치 추론을 수행하여 인사이트를 도출할 수 있는 LLM 구동 에이전트를 시연한다.
• 재현성과 벤치마킹을 위해 고충실도 합성 웨어러블 데이터와 대규모 평가 데이터세트를 생성 및 공개한다.

제안 방법

• ReAct 프레임워크 내에서 다단계 반복 추론, 코드 생성, 웹 검색을 결합한 Personal Health Insights Agent (PHIA)를 도입한다.
• 원시 데이터를 비공개로 유지하면서 웨어러블 데이터로부터 수치 인사이트를 도출하기 위해 코드 실행 도구로 Python 데이터 분석 런타임(Pandas)을 사용한다.
• 추론을 지원하고 인용을 제공하기 위해 신뢰할 수 있는 도메인에서 최신 건강 정보를 검색하는 웹 검색 메커니즘을 포함한다.
• 도구 사용 및 다단계 추론을 숙달하기 위해 큐레이션된 트래젝토리(경로)를 활용한 few-shot 프롬프팅으로 도구 사용과 다단계 추론을 마스터한다.
• 자동 평가를 위한 객관적 질의, 인간 평가를 위한 열린 형식 질의, 그리고 현실적 시나리오를 위한 고충실도 합성 웨어러블 데이터를 포함한 세 가지 데이터셋을 개발하고 평가한다.

실험 결과

연구 질문

• RQ1 PHIA가 웨어러블 데이터로부터 객관적이고 수치적인 건강 질문에 얼마나 정확하게 답할 수 있는가?
• RQ2 PHIA가 베이스라인과 비교하여 열린 형식의 건강 질의에 대해 얼마나 잘 추론하는가?
• RQ3 도구 사용(코드 생성 및 웹 검색)이 성능에 미치는 영향은 비에이전트 베이스라인 대비 어떠한가?
• RQ4 합성 웨어러블 데이터가 건강 인사이트 에이전트의 현실적이고 확장 가능한 평가를 지원할 수 있는가?
• RQ5 안전성/해를 피함 및 코드 품질 측면에서 PHIA의 성능은 어떠한가?

주요 결과

• PHIA는 목표 질문에서 84%의 정확도(정확 일치)를 달성하며, 강력한 코드 생성 기준선의 74%를 상회한다.
• 열린 형식 질문에서 PHIA는 83%의 호의적 평가를 받고, 최상위 품질 수준에 도달할 확률이 기준선의 두 배이다.
• PHIA의 이점은 웹 검색과 반복적 추론 덕분에 일반 지식 및 코호트 비교 질의에서 가장 두드러진다.
• PHIA는 해를 야기하지 않는 안전성 면에서 높은 성능을 보이며, 응답의 99% 이상이 무해한 것으로 평가된다.
• 도구 없이 베이스라인의 수치 추론은 정확한 수치 작업에서 PHIA에 미치지 못하며, 웨어러블 데이터에 대한 도구 사용의 가치를 강조한다.