[論文レビュー] Supplementary Material for "The Unreasonable Effectiveness of Large Language Models in Issuing Just-in-Time Adaptive Interventions: Fostering Physical Activity in a Prospective Cardiac Rehabilitation Setting"

David Haag, Devender Kumar+8 more|arXiv (Cornell University)|Feb 12, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

本研究では、心臓リハビリテーションにおける身体活動促進を目的とした、GPT-4を用いたパーソナライズ型で文脈に配慮した即時適応的介入（JITAIs）の生成を評価している。450件の患者固有の介入を、多様な人物像と文脈で実施した結果、GPT-4は一般の人々や医療専門職よりも、適切さ、関与度、有効性、専門性の面で優れており、大規模かつ適応可能なデジタルヘルス支援の分野におけるLLMの可能性を示している。

ABSTRACT

This upload contains supplementary materials for the publication: "The Last JITAI? - The Unreasonable Effectiveness of Large Language Models in Issuing Just-in-Time Adaptive Interventions: Fostering Physical Activity in a Prospective Cardiac Rehabilitation Setting" Supplement 1: Persona and context information used as basis for JITAI decision-making and content generation Supplement 2: Instructions given to JITAI generators Supplement 3: Data and analysis skripts (contains a Read_me file specifying further details)

研究の動機と目的

• 大規模言語モデル（LLMs）が心臓リハビリテーションにおける身体活動促進を目的とした即時適応的介入（JITAIs）を生成する際の実現可能性と質を評価すること。
• 従来のJITAI実装モデルが手動またはルールベースの設計に依存するため生じるスケーラビリティと柔軟性の制限を解消すること。
• 実臨床における関連性と質の観点から、LLMが生成したJITAIの提案を、一般の人々や医療専門職が作成したものと比較すること。
• GPT-4が、臨床的重症度や状況的文脈の違いを考慮して、文脈に応じた患者に合わせた行動ヘルスメッセージを生成する際のパフォーマンスを評価すること。

提案手法

• 本研究では、5つの異なる文脈セット（各患者の人物像ごと）を用いて、GPT-4を活用し、450件のJITAI意思決定とメッセージを生成した。これは、心血管疾患の重症度の異なるレベルを反映している。
• 3つの患者の人物像（人物像）を定義し、それぞれが心臓リハビリテーションにおける異なる臨床的プロファイルと行動的ニーズを反映している。
• 文脈セットには、活動レベル、気分、社会的状況、臨床状態といったリアルタイム要因が含まれており、動的で現実世界に近い状況を模擬している。
• 生成されたメッセージは、10名の一般の人々と10名の医療専門職が作成した人間による介入と比較評価された。評価には、適切さ、関与度、有効性、専門性の4つの主要指標が用いられた。
• 評価は、専門家およびユーザーによるアセスメントを通じて実施され、臨床ガイドラインと患者中心の設計原則に整合していることを確認した。
• 一貫性と関連性を確保するため、LLMは構造化されたテンプレートと臨床的文脈をプロンプトとして入力された。

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、心臓リハビリテーションの文脈において、医療専門職が作成したものと同等の臨床的適切さと関与度を持つJITAIメッセージを生成できるか？
• RQ2 一般の人々が作成したものと比較して、LLMが生成したJITAIsのパーソナライズ性と臨床的関連性の質はどの程度高いか？
• RQ3 手動での再設定なしに、多様な患者プロファイルと動的な文脈にわたって、パーソナライズ型で文脈に配慮した介入をどの程度スケーリングできるか？
• RQ4 LLMの使用により、リアルタイムの行動支援におけるデジタルヘルス介入の適応性と反応性が向上するか？

主な発見

• GPT-4が生成したJITAIsは、評価指標のすべて（適切さ、関与度、有効性、専門性）において、一般の人々および医療専門職を顕著に上回った。
• LLMは、3つの患者の人物像すべてにおいて一貫したパフォーマンスを示し、臨床的重症度や文脈の違いに関わらず、高い関連性とパーソナライズ性を維持した。
• 関与度の観点では、専門家および一般の評価者の両方から、GPT-4のメッセージは人間が作成した代替案よりもより動機付けられやすく、実行可能であると評価された。
• システムは高い文脈的正確性を達成しており、気分、活動レベル、社会的環境といったリアルタイム要因に応じて、メッセージが動的に適応していた。
• 結果から、LLMは手動によるJITAI作成の負担を軽減し、デジタルヘルス介入におけるスケーラビリティとパーソナライズ性を向上させられると示唆された。
• GPT-4の出力は、臨床的に妥当で、エビデンスに基づく心臓リハビリテーションガイドラインと整合していると評価され、臨床ワークフローへの統合の強い可能性を示している。