[论文解读] Large Language Models Need Holistically Thought in Medical Conversational QA

Yixuan Weng, Bin Li+6 more|arXiv (Cornell University)|May 9, 2023

Topic Modeling被引用 5

一句话总结

本文提出Holistically Thought（HoT）方法，通过整合发散性思维以实现广泛探索，以及聚焦性思维以实现患者特定推理，从而提升大语言模型（LLMs）在医疗对话问答（CQA）中的表现。在三个多语言CQA数据集上评估，HoT在无需微调的情况下，显著提升了响应的正确性、专业性和同理心，优于当前最先进方法。

ABSTRACT

The medical conversational question answering (CQA) system aims at providing a series of professional medical services to improve the efficiency of medical care. Despite the success of large language models (LLMs) in complex reasoning tasks in various fields, such as mathematics, logic, and commonsense QA, they still need to improve with the increased complexity and specialization of the medical field. This is because medical CQA tasks require not only strong medical reasoning, but also the ability to think broadly and deeply. In this paper, to address these challenges in medical CQA tasks that need to be considered and understood in many aspects, we propose the Holistically Thought (HoT) method, which is designed to guide the LLMs to perform the diffused and focused thinking for generating high-quality medical responses. The proposed HoT method has been evaluated through automated and manual assessments in three different medical CQA datasets containing the English and Chinese languages. The extensive experimental results show that our method can produce more correctness, professional, and considerate answers than several state-of-the-art (SOTA) methods, manifesting its effectiveness. Our code in https://github.com/WENGSYX/HoT.

研究动机与目标

• 为解决现有LLMs在医疗CQA中缺乏整体性推理、且未能充分考虑患者特定因素（如病史和当前状况）的局限性。
• 开发一种零样本、基于提示的方法，提升LLMs生成全面、准确且富有同理心的医疗响应的能力，而无需模型微调或额外标注。
• 通过在一个统一的推理框架中整合广泛探索（发散性思维）与针对患者的特定整合（聚焦性思维），提升LLMs的医疗推理能力。
• 在多样化的多语言医疗CQA数据集上评估该方法，以证明其在不同语言和临床场景下的鲁棒性与泛化能力。
• 提供透明、可解释的推理过程，揭示医疗结论的推导方式，从而增强信任度与临床实用性。

提出的方法

• HoT方法引入两阶段推理过程：发散性思维阶段，采用多样化的解码策略，广泛探索医学知识与潜在响应要素。
• 聚焦性思维阶段，基于输入查询生成结构化的、患者特定的医疗记录摘要，整合相关临床细节，如症状、病史和当前状态。
• 模型整合发散性思维与聚焦性思维的洞察，生成最终响应，确保内容全面、上下文准确，并针对患者独特情况量身定制。
• 该方法完全基于提示且为零样本，无需微调或额外标注，因此可轻松适配新发或罕见疾病。
• 利用LLMs的上下文学习能力，模拟整体性临床推理，模仿医生在诊断或建议前综合考虑多种因素的过程。
• 该框架兼容多种LLM架构，并支持英语与中文的医疗CQA任务。

实验结果

研究问题

• RQ1 能否通过模拟整体性临床推理，利用零样本提示方法提升医疗对话问答响应的质量？
• RQ2 结合发散性思维与聚焦性思维在多大程度上可提升基于LLM的医疗对话中响应的正确性、专业性和以患者为中心的特性？
• RQ3 HoT方法在无需微调的情况下，能在多语言医疗CQA数据集中实现多大程度的泛化？
• RQ4 HoT方法是否通过使推理过程透明且可追溯，从而提升可解释性？
• RQ5 在复杂的真实世界医疗推理场景中，HoT方法如何优于现有最先进方法？

主要发现

• HoT方法在三个医疗CQA数据集上均显著提升了响应质量，在自动评估与人工评估中均优于多个SOTA基线模型。
• 在人工评估中，医疗专家评定HoT生成的响应在正确性、专业性和同理心方面均优于基线模型。
• 该方法展现出强大的零样本泛化能力，无需再训练或额外标注即可有效应对罕见或新发疾病。
• 发散性思维与聚焦性思维的整合，使响应更加全面，更好地考虑了患者特定因素（如病史与当前症状）。
• 通过结构化的思维分解，使推理过程可见，从而提升了对模型输出的信任度。
• 该方法在英语与中文医疗CQA数据集中均表现出一致的性能，证实了其多语言适用性。