[論文レビュー] Transforming Wearable Data into Personal Health Insights using Large Language Model Agents

Mike A. Merrill, Akshay Paruchuri+18 more|arXiv (Cornell University)|Jun 10, 2024

Topic Modeling被引用数 7

ひとこと要約

PHIAはコード生成とウェブ検索を組み合わせたLLMベースのエージェントを用いてウェアラブルデータを個別化された健康インサイトへ変換し、客観的なクエリで84%の精度、オープンエンドなクエリで人間評価における83%の好評評価を達成。強力なコード生成ベースラインを大幅に上回る。

ABSTRACT

Deriving personalized insights from popular wearable trackers requires complex numerical reasoning that challenges standard LLMs, necessitating tool-based approaches like code generation. Large language model (LLM) agents present a promising yet largely untapped solution for this analysis at scale. We introduce the Personal Health Insights Agent (PHIA), a system leveraging multistep reasoning with code generation and information retrieval to analyze and interpret behavioral health data. To test its capabilities, we create and share two benchmark datasets with over 4000 health insights questions. A 650-hour human expert evaluation shows that PHIA significantly outperforms a strong code generation baseline, achieving 84% accuracy on objective, numerical questions and, for open-ended ones, earning 83% favorable ratings while being twice as likely to achieve the highest quality rating. This work can advance behavioral health by empowering individuals to understand their data, enabling a new era of accessible, personalized, and data-driven wellness for the wider population.

研究の動機と目的

• ウェアラブルの時系列データからデータ駆動型で個別化された健康インサイトを動機付け、実現する。
• LLM主導のエージェントが外部ツール（コードと検索）を用いた多段階の数値推論を実行してインサイトを導出できることを示す。
• 高忠実度の合成ウェアラブルデータと大規模な評価データセットを作成・公開し、再現性とベンチマークを確保する。

提案手法

• ReActフレームワーク内で多段階の反復推論・コード生成・ウェブ検索を組み合わせたPersonal Health Insights Agent（PHIA）を導入する。
• コード実行ツールとしてPythonのデータ分析ランタイム（Pandas）を使用し、ウェアラブルデータから数値的インサイトを導出しつつ生データは非公開のままにする。
• 推論を支援し引用を提供するため、信頼できるドメインから最新の健康情報を取得するウェブ検索機構を組み込む。
• 厳選されたトラジェクトリを用いたFew-shot promptingでツール使用と多段階推理を習得する。
• 自動評価用の客観的クエリ、人的評価用のオープンエンドクエリ、現実的なシナリオのための高忠実度合成ウェアラブルデータという3つのデータセットを開発・評価する。

実験結果

リサーチクエスチョン

• RQ1 PHIAはウェアラブルデータからの客観的で数値的な健康質問にどれだけ正確に答えられるか。
• RQ2 PHIAはベースラインと比較してオープンエンドの健康クエリについてどれだけうまく推論できるか。
• RQ3 ツール使用（コード生成とウェブ検索）が性能に与える影響は、非エージェントのベースラインと比べてどうか。
• RQ4 合成ウェアラブルデータは健康インサイトエージェントの現実的でスケーラブルな評価を支援できるか。
• RQ5 安全性・有害回避とコード品質の観点でPHIAはどの程度の性能を示すか。

主な発見

• PHIAは客観的質問で84%の厳密一致精度を達成し、74%の強力なコード生成ベースラインを上回る。
• オープンエンド質問ではPHIAが83%の好評評価を受け、ベースラインと比較して最高品質レベルに到達する確率が2倍である。
• PHIAの優位性はウェブ検索と反復推論により、一般知識とコホート比較クエリで最も顕著である。
• PHIAは有害回避性が高く、回答の99%以上が無害と評価されている。
• ツールなしのベースラインの数値推論は、正確な数値タスクでPHIAを下回り、ウェアラブルデータにおけるツール使用の価値を強調している。