[论文解读] CataractBot: An LLM-Powered Expert-in-the-Loop Chatbot for Cataract Patients

Pragnya Ramjee, Bhuvan Sachdeva+5 more|arXiv (Cornell University)|Feb 7, 2024

Transportation and Mobility Innovations被引用 4

一句话总结

CataractBot 是一个基于大型语言模型（LLM）的、专家参与的聊天机器人，通过 WhatsApp 实时提供准确的白内障手术信息，其信息源自经过筛选的知识库，并由医疗专家异步验证。在印度一家三级眼科医院对 49 名患者及其陪同人员进行的真实部署中，该系统提升了信息获取效率，减轻了焦虑情绪，并通过专家验证建立了信任，证明了其在低资源医疗环境中可扩展、可靠的患者支持可行性。

ABSTRACT

The healthcare landscape is evolving, with patients seeking reliable information about their health conditions and available treatment options. Despite the abundance of information sources, the digital age overwhelms individuals with excess, often inaccurate information. Patients primarily trust medical professionals, highlighting the need for expert-endorsed health information. However, increased patient loads on experts has led to reduced communication time, impacting information sharing. To address this gap, we developed CataractBot. CataractBot answers cataract surgery related questions instantly using an LLM to query a curated knowledge base, and provides expert-verified responses asynchronously. It has multimodal and multilingual capabilities. In an in-the-wild deployment study with 49 patients and attendants, 4 doctors, and 2 patient coordinators, CataractBot demonstrated potential, providing anytime accessibility, saving time, accommodating diverse literacy levels, alleviating power differences, and adding a privacy layer between patients and doctors. Users reported that their trust in the system was established through expert verification. Broadly, our results could inform future work on expert-mediated LLM bots.

研究动机与目标

• 为应对患者对白内障手术可靠、及时医疗信息日益增长的需求，特别是在医生与患者比例上升、咨询时间有限的背景下。
• 通过可扩展的数字解决方案提供可访问、准确且经专家验证的信息，以减轻患者焦虑并改善健康结局。
• 设计一种结合 LLM 速度与专家验证可靠性的系统，确保可信响应，同时不增加临床人员的工作负担。
• 评估在真实世界、低识字率、资源有限的医疗环境（如印度的一家三级眼科医院）中，专家参与式聊天机器人的可行性与影响。
• 建立一个可推广至其他医疗和非医疗领域（如肿瘤学或农业）的专家辅助 LLM 聊天机器人部署框架。

提出的方法

• 系统基于自定义、经筛选的白内障相关信息知识库，采用检索增强生成（RAG）技术，实时生成对患者查询的响应。
• LLM 生成的响应由医疗专家（医生和协调员）异步验证，经审核批准后才与患者共享。
• 聊天机器人通过 WhatsApp 部署，该平台广泛使用，确保低数字素养和有限智能手机使用经验的患者也能轻松访问。
• 知识库更新机制由一名 KB 更新专家负责审查并整合新医疗内容，未来计划扩展为多贡献者模式，以降低单点故障风险。
• 系统支持多语言和多模态交互，适应不同识字水平，并支持基于图像或文本的查询。
• 专家验证流程嵌入工作流中，医生可在休息时间或非门诊时间完成验证，最大限度减少对临床流程的干扰。

Figure 1. Asking question to CataractBot , and getting a verified answer from the expert

实验结果

研究问题

• RQ1 在真实世界、资源有限的临床环境中，基于 LLM 且具备专家参与验证的聊天机器人能否有效满足患者对白内障手术信息的需求？
• RQ2 患者和医疗保健提供者如何感知一种结合 LLM 生成响应与专家验证的聊天机器人的信任度与可用性？
• RQ3 此类系统在不增加本已超负荷的医疗人员工作量的前提下，能在多大程度上减轻患者焦虑并改善信息获取？
• RQ4 在发展中国家医疗背景下，将专家验证的 LLM 聊天机器人扩展至大规模患者群体时，面临哪些关键技术与运营挑战？
• RQ5 当知识库由多位专家随时间推移进行更新时，系统如何保持知识库的准确性和一致性？

主要发现

• 在对 49 名患者及其陪同人员的真实部署中，CataractBot 被认为具有重要价值，用户赞赏其全天候可访问性以及在门诊时间之外提供答案的能力。
• 患者对系统表现出高度信任，尤其因为回答经过医生验证，且愿意等待专家确认，理解医生的时间限制。
• 通过多语言和多模态支持，聊天机器人成功适应了不同识字水平的用户，提升了数字健康干预的包容性。
• 尽管取得成功，知识库在研究期间出现内容过时，且 KB 更新专家引入了错误，凸显了需要引入多位贡献者及自动化更新机制的必要性。
• 该系统证明了专家参与式验证在实践中是可行的，医生和协调员可在休息时间或非门诊时间完成验证，表明操作摩擦较低。
• 本研究表明，类似框架可推广至其他复杂治疗领域，如青光眼手术或癌症治疗，这些领域信息需求更高且更复杂。

Figure 2. Asking question to CataractBot through audio