[论文解读] Exploring the Inquiry-Diagnosis Relationship with Advanced Patient Simulators

Zhaocheng Liu, Qiufen Tu+8 more|ArXiv.org|Jan 16, 2025

Simulation-Based Education in Healthcare被引用 3

一句话总结

该论文构建了一个由真实医生-患者对话策略引导的数据驱动的患者模拟器，用以研究在线医疗咨询中询问质量如何影响诊断，并在这一情境中演示了 Liebig 定律。

ABSTRACT

Recently, large language models have shown great potential to transform online medical consultation. Despite this, most research targets improving diagnostic accuracy with ample information, often overlooking the inquiry phase. Some studies try to evaluate or refine doctor models by using prompt-engineered patient agents. However, prompt engineering alone falls short in accurately simulating real patients. We need to explore new paradigms for patient simulation. Furthermore, the relationship between inquiry and diagnosis remains unexplored. This paper extracts dialogue strategies from real doctor-patient conversations to guide the training of a patient simulator. Our simulator shows higher anthropomorphism and lower hallucination rates, using dynamic dialogue strategies. This innovation offers a more accurate evaluation of diagnostic models and generates realistic synthetic data. We conduct extensive experiments on the relationship between inquiry and diagnosis, showing they adhere to Liebig's law: poor inquiry limits diagnosis effectiveness, regardless of diagnostic skill, and vice versa. The experiments also reveal substantial differences in inquiry performance among models. To delve into this phenomenon, the inquiry process is categorized into four distinct types. Analyzing the distribution of inquiries across these types helps explain the performance differences. The weights of our patient simulator are available https://github.com/PatientSimulator/PatientSimulator.

研究动机与目标

• 从真实的医生-患者对话中提取现实世界的患者对话策略。
• 利用合成数据训练一个与真实患者行为高度相符的患者模拟器。
• 研究询问质量与诊断能力如何相互作用影响最终诊断。
• 对询问类型进行分类并分析它们在不同模型中的分布，以解释性能差异。

提出的方法

• 对真实的医生-患者对话进行注释，标注一组精心整理的对话策略标签。
• 使用带有医疗记录和策略流程的上下文学习来合成医生-患者对话。
• 对患者模拟器进行微调（在 Qwen2.5-72B-Instruct 上使用 LoRA）以输出真实的患者回应。
• 使用模拟器生成固定轮次的询问记录并评估跨模型的诊断准确性。
• 建立一个工作流以提取并在一致的评估管线中比较不同医生模型的诊断结果。

实验结果

研究问题

• RQ1 在不同诊断能力下，患者询问质量如何影响诊断准确性？
• RQ2 不同的询问策略（类型）是否会影响最终诊断，模型差异如何解释性能差距？
• RQ3 一个数据驱动的患者模拟器是否比提示工程化基线更能准确再现真实的询问-诊断动态？
• RQ4 识别出四种患者询问类型，它们在模型和回合之间的分布有何变化？

主要发现

• 询问与诊断遵循 Liebig 定律：无论诊断能力如何，低质量的询问都会限制诊断效果，反之亦然。
• 我们的患者模拟器在幻觉率更低、拟人性更高方面优于基线，尽管在不相关回答方面略高于以 GPT-4o 为基础的 AgentClinic。
• 不同模型之间在询问质量上存在显著差异，Claude-3-5-sonnet 的询问表现相对较差。
• 更多的询问轮次通常会提高诊断准确性，且模型在分配询问类型方面存在差异。
• 具体而言，更强调已知症状的具体化与总体诊断准确性之间在某些设置中呈负相关。
• 共识识别出四种询问类型：主诉、已知症状的具体化、伴随症状、以及家族/病史。