[論文レビュー] Knowledge-Infused LLM-Powered Conversational Health Agent: A Case Study for Diabetes Patients

Mahyar Abbasian, Zhongqi Yang+6 more|arXiv (Cornell University)|Feb 15, 2024

Artificial Intelligence in HealthcareHealth Professions被引用数 3

ひとこと要約

本論文は、アメリカ糖尿病協会（ADA）の食事ガイドラインとNutritionixの栄養データベースをオープンソースのopenCHAフレームワークに統合することで、糖尿病管理のための知識統合型LLM駆動型対話型健康アシスタント（CHA）を提案する。栄養素計算およびリスク評価の分析ツールを備えることで、7つの主要栄養素における食事リスクの特定においてGPT-4を上回り、臨床意思決定支援における優れた信頼性と説明可能性を示した。

ABSTRACT

Effective diabetes management is crucial for maintaining health in diabetic patients. Large Language Models (LLMs) have opened new avenues for diabetes management, facilitating their efficacy. However, current LLM-based approaches are limited by their dependence on general sources and lack of integration with domain-specific knowledge, leading to inaccurate responses. In this paper, we propose a knowledge-infused LLM-powered conversational health agent (CHA) for diabetic patients. We customize and leverage the open-source openCHA framework, enhancing our CHA with external knowledge and analytical capabilities. This integration involves two key components: 1) incorporating the American Diabetes Association dietary guidelines and the Nutritionix information and 2) deploying analytical tools that enable nutritional intake calculation and comparison with the guidelines. We compare the proposed CHA with GPT4. Our evaluation includes 100 diabetes-related questions on daily meal choices and assessing the potential risks associated with the suggested diet. Our findings show that the proposed agent demonstrates superior performance in generating responses to manage essential nutrients.

研究の動機と目的

• 一般向けLLMの糖尿病管理における限界、特に幻覚を生じたり、分野特異的な正確性に欠ける傾向を是正すること。
• 確認済みの医療知識と分析ツールを統合することで、LLMベースの健康アシスタントの信頼性と説明可能性を向上させること。
• カスタマイズ可能で透明性のある対話型アシスタントを構築し、糖尿病患者の個別化されたガイドライン準拠の食事提案を支援すること。
• 本研究では、実世界の糖尿病関連の食事評価クエリに対して、知識統合型CHAの性能をGPT-4と比較して評価する。

提案手法

• 本研究では、LLM駆動型対話型健康アシスタントを構築する基盤として、オープンソースのopenCHAフレームワークを採用する。
• 外部知識は、アメリカ糖尿病協会（ADA）の食事ガイドラインと、リアルタイムの栄養データ取得を可能にするNutritionix APIを介して統合される。
• 分析モジュールは、7つの主要栄養素（炭水化物、脂質、飽和脂肪、タンパク質、ナトリウム、糖類、食物繊維）の1日総摂取量を計算し、推奨範囲と比較する。
• システムはLLMベースのオーケストレーターを用い、知識の取得、分析、応答生成を調整することで、追跡可能性と透明性を確保する。
• 同等の入力および評価条件を確保するため、GPT-4にカスタムプロンプト工学戦略を適用する。
• 評価は100件の実世界の食事関連クエリを対象とし、正解データは手動による栄養計算とガイドライン適合性の照合から得られた。

Figure 1: An overview of openCHA [ 12 ] framework.

実験結果

リサーチクエスチョン

• RQ1 知識統合型LLMベースのCHAは、GPT-4のような一般向けLLMに比べ、糖尿病患者の食事リスクを評価する上で優れた性能を示せるか？
• RQ2 確認済みの医療ガイドラインと栄養データベースを統合することで、LLMが生成する健康アドバイスの正確性はどの程度向上するか？
• RQ3 栄養素計算のための分析ツールを統合することで、食事リスク評価の信頼性と一貫性はどのように向上するか？
• RQ4 CHAはそのリスク評価に対して説明可能な推論を提供できるか？これにより、ユーザーの信頼と透明性は向上するか？

主な発見

• 提案されたCHAは、炭水化物のリスク評価で84%の正確性を達成し、GPT-4の49%を大きく上回った。
• 飽和脂肪に関しては、CHAが99%の正確性を示し、GPT-4の68%を上回った。
• CHAは全7栄養素において優れた性能を示し、正確性は炭水化物で84%、ナトリウムで95%の範囲に達した。
• タンパク質（90% 対 17%）および食物繊維（92% 対 46%）の分野で特に顕著な向上が見られ、複雑な栄養素評価における強力な改善が示された。
• 構造化された知識と分析ツールを統合・推論可能にすることで、幻覚の発生が抑制され、一貫性が向上した。
• CHAは説明可能な応答を提供し、各評価の背後にあるデータソースと計算ロジックをユーザーが追跡できるようにした。

Figure 2: LLM-based CHA for diabetes management enabled by the openCHA framework.