[论文解读] Knowledge-Infused LLM-Powered Conversational Health Agent: A Case Study for Diabetes Patients

Mahyar Abbasian, Zhongqi Yang+6 more|arXiv (Cornell University)|Feb 15, 2024

Artificial Intelligence in HealthcareHealth Professions被引用 3

一句话总结

本文提出了一种基于知识增强的大语言模型（LLM）对话式健康助手（CHA），用于糖尿病管理，通过将美国糖尿病协会（American Diabetes Association）的饮食指南和Nutritionix的营养数据库整合到开源的openCHA框架中，实现了对营养素计算和风险评估的分析工具增强。该CHA在准确识别七种关键营养素的饮食风险方面优于GPT-4，展现出在临床决策支持中更优的可靠性与可解释性。

ABSTRACT

Effective diabetes management is crucial for maintaining health in diabetic patients. Large Language Models (LLMs) have opened new avenues for diabetes management, facilitating their efficacy. However, current LLM-based approaches are limited by their dependence on general sources and lack of integration with domain-specific knowledge, leading to inaccurate responses. In this paper, we propose a knowledge-infused LLM-powered conversational health agent (CHA) for diabetic patients. We customize and leverage the open-source openCHA framework, enhancing our CHA with external knowledge and analytical capabilities. This integration involves two key components: 1) incorporating the American Diabetes Association dietary guidelines and the Nutritionix information and 2) deploying analytical tools that enable nutritional intake calculation and comparison with the guidelines. We compare the proposed CHA with GPT4. Our evaluation includes 100 diabetes-related questions on daily meal choices and assessing the potential risks associated with the suggested diet. Our findings show that the proposed agent demonstrates superior performance in generating responses to manage essential nutrients.

研究动机与目标

• 为解决通用大语言模型在糖尿病管理中的局限性，特别是其易产生幻觉或缺乏特定领域准确性的缺陷。
• 通过整合经验证的医学知识和分析工具，提升基于LLM的健康助手的可靠性与可解释性。
• 开发一种可定制、透明的对话式助手，支持个性化、符合指南的糖尿病患者饮食建议。
• 评估该知识增强型CHA在真实世界糖尿病相关膳食评估查询中相较于GPT-4的表现。

提出的方法

• 本研究以开源的openCHA框架为基础，构建基于LLM的对话式健康助手。
• 通过美国糖尿病协会（American Diabetes Association）的饮食指南和Nutritionix API，实现对外部知识的集成，以实现实时营养数据检索。
• 分析模块计算七种关键营养素（碳水化合物、脂肪、饱和脂肪、蛋白质、钠、糖、膳食纤维）的每日总摄入量，并与推荐范围进行对比。
• 系统使用基于LLM的编排器协调知识检索、分析与响应生成，确保可追溯性与透明性。
• 对GPT-4应用定制化的提示工程策略，以确保输入和评估条件的一致性。
• 评估基于100个真实世界的餐食相关查询进行，真实答案来源于人工营养计算与指南一致性校对。

Figure 1: An overview of openCHA [ 12 ] framework.

实验结果

研究问题

• RQ1 基于知识增强的LLM驱动CHA是否能在糖尿病患者饮食风险评估中优于通用大语言模型（如GPT-4）？
• RQ2 整合经验证的医学指南与营养数据库在多大程度上提升了LLM生成健康建议的准确性？
• RQ3 在营养素计算中引入分析工具如何影响饮食风险评估的可靠性与一致性？
• RQ4 CHA是否能提供可解释的推理过程，从而增强用户信任与透明度？

主要发现

• 所提出的CHA在碳水化合物风险评估中达到84%的准确率，显著优于GPT-4的49%。
• 在饱和脂肪方面，CHA准确率达到99%，而GPT-4为68%。
• CHA在全部七种营养素中表现更优，准确率范围为84%（碳水化合物）至95%（钠）。
• 在蛋白质（90% vs. 17%）和膳食纤维（92% vs. 46%）方面，CHA性能提升最为显著，表明在复杂营养素评估中取得显著进步。
• 系统整合并推理结构化知识与分析工具的能力，有效减少了幻觉并提升了结果一致性。
• CHA提供可解释的响应，使用户能够追溯每项评估背后的数据来源与计算逻辑。

Figure 2: LLM-based CHA for diabetes management enabled by the openCHA framework.