[論文レビュー] LLM on FHIR -- Demystifying Health Records

Paul Schmiedmayer, Adrit Rao+5 more|arXiv (Cornell University)|Jan 25, 2024

Machine Learning in Healthcare被引用数 5

ひとこと要約

この論文は FHIR 上の LLM を提示します。GPT-4 を用いて患者が自分の FHIR ベースの健康記録と対話できるオープンソースの iOS アプリであり、SyntheticMass データを用いたパイロット研究で健康リテラシー、正確さ、使いやすさを評価します。

ABSTRACT

Objective: To enhance health literacy and accessibility of health information for a diverse patient population by developing a patient-centered artificial intelligence (AI) solution using large language models (LLMs) and Fast Healthcare Interoperability Resources (FHIR) application programming interfaces (APIs). Materials and Methods: The research involved developing LLM on FHIR, an open-source mobile application allowing users to interact with their health records using LLMs. The app is built on Stanford's Spezi ecosystem and uses OpenAI's GPT-4. A pilot study was conducted with the SyntheticMass patient dataset and evaluated by medical experts to assess the app's effectiveness in increasing health literacy. The evaluation focused on the accuracy, relevance, and understandability of the LLM's responses to common patient questions. Results: LLM on FHIR demonstrated varying but generally high degrees of accuracy and relevance in providing understandable health information to patients. The app effectively translated medical data into patient-friendly language and was able to adapt its responses to different patient profiles. However, challenges included variability in LLM responses and the need for precise filtering of health data. Discussion and Conclusion: LLMs offer significant potential in improving health literacy and making health records more accessible. LLM on FHIR, as a pioneering application in this field, demonstrates the feasibility and challenges of integrating LLMs into patient care. While promising, the implementation and pilot also highlight risks such as inconsistent responses and the importance of replicable output. Future directions include better resource identification mechanisms and executing LLMs on-device to enhance privacy and reduce costs.

研究の動機と目的

• 電子健康記録への患者アクセスを可能にする患者中心の AI ソリューションを通じて健康リテラシーを向上させる。
• モバイルアプリケーションで LLM と FHIR API の統合の実現可能性を示す。
• 合成データセットを用いた医療領域の患者向け AI の再現性のある評価を刺激する。
• 一般ユーザーが健康データを解釈する際の LLM の使用における課題と安全性の考慮事項を特定する。

提案手法

• Stanford Spezi エコシステムと GPT-4 に基づくオープンソースの Swift ベース iOS アプリ（LLM on FHIR）を開発し、ユーザーの FHIR リソースと対話する。
• HealthKit 経由で Apple Health アプリに接続して FHIR エンコード済み記録を取得する。
• 原データをユーザーに開示せず、LLM が関連する FHIR リソースを取得・要約するための関数呼び出しメカニズムを実装する。
• プロンプト工学を用いて、要約をコンパクトな単一リソース形式、読みやすさのための JSON ライク形式の長い解釈を生成する。
• SyntheticMass 心血管系患者データを用いたパイロット研究でシステムを評価し、専門評価者として4名の医師を配置する。
• 正確さ、関連性、理解度を評価し、質問と患者プロファイルごとの変動を分析する。

実験結果

リサーチクエスチョン

• RQ1 LLM 主導のインタフェースは、患者の FHIR ベースの健康記録を正確かつ理解しやすく解釈できるか？
• RQ2 健康データの患者向け説明の LLМ 出力の主な正確性、関連性、理解しやすさの特徴は何か？
• RQ3 データのフィルタリング、時系列推論、リソース取得など、患者の健康記録に LLM を展開する際に生じる課題は何か？
• RQ4 薬剤、状態、検査値に関する質問に対して、さまざまな患者プロファイルや質問でシステムはどのように機能するか？
• RQ5 患者向け LLM アプリケーションにおけるプライバシー、再現性、オンデバイス vs クラウド実行の影響は何か？

主な発見

• LLM on FHIR は一般に患者向け健康情報において高い正確さと関連性を多くの質問で達成する。
• アプリは医療データを患者に優しい言語に翻訳し、異なる患者プロファイルに適応する。
• 同一の質問で出力のばらつきが生じ、いくつかの回答は情報を欠いたり、必要なリソースを要求しなかった。
• 一部の出力には文脈外の情報（例: 社会歴）や時に不適切な関連付け（例: 前糖尿病でインスリン使用）を含む。
• 検査値の解釈はレンジで正確なことが多いが、厳しすぎる場合や実用的な洞察が欠けることがある。
• 翻訳（ドイツ語）は概ね正確だが、一部の文脈ニュアンスを失うことがある。