[论文解读] Leveraging Historical Medical Records as a Proxy via Multimodal Modeling and Visualization to Enrich Medical Diagnostic Learning

Yang Ouyang, Yuchen Wu+7 more|arXiv (Cornell University)|Jul 23, 2023

Data Visualization and Analytics被引用 4

一句话总结

本文提出 DiagnosisAssistant，一个视觉分析系统，利用历史多模态医疗记录作为代理，以增强医学实习生和新手医生的诊断学习。通过将多模态机器学习模型与交互式可视化（如嵌入过渡图、模态特定视图及对比患者分析）相结合，该系统使用户能够解释模型预测、理解各模态的贡献，并提升诊断推理能力，相关有效性通过案例研究和专家反馈得到验证。

ABSTRACT

Simulation-based Medical Education (SBME) has been developed as a cost-effective means of enhancing the diagnostic skills of novice physicians and interns, thereby mitigating the need for resource-intensive mentor-apprentice training. However, feedback provided in most SBME is often directed towards improving the operational proficiency of learners, rather than providing summative medical diagnoses that result from experience and time. Additionally, the multimodal nature of medical data during diagnosis poses significant challenges for interns and novice physicians, including the tendency to overlook or over-rely on data from certain modalities, and difficulties in comprehending potential associations between modalities. To address these challenges, we present DiagnosisAssistant, a visual analytics system that leverages historical medical records as a proxy for multimodal modeling and visualization to enhance the learning experience of interns and novice physicians. The system employs elaborately designed visualizations to explore different modality data, offer diagnostic interpretive hints based on the constructed model, and enable comparative analyses of specific patients. Our approach is validated through two case studies and expert interviews, demonstrating its effectiveness in enhancing medical training.

研究动机与目标

• 解决模拟医学教育（SBME）中侧重操作技能训练而忽视总结性诊断推理能力培养的缺口。
• 帮助新手医生克服因经验不足和认知偏见，在整合多模态临床数据（如影像、检验结果、临床记录）时面临的挑战。
• 通过历史病例中数据驱动的客观示例，减少对导师指导的依赖，作为专家临床经验的代理。
• 通过视觉分析和事后可解释性技术，提升多模态人工智能模型在临床决策中的可解释性。
• 通过支持对比分析和模态层面的洞察，促进诊断学习循环中的自我认知与自我调整。

提出的方法

• 该系统采用在真实临床数据集（颈椎脊柱患者）上训练的多模态机器学习模型，整合放射影像、检验结果、临床记录和人口统计学数据。
• 应用事后可解释性技术（如注意力图、基于梯度的显著性图）以解释模型预测，并突出各模态的贡献。
• 交互式视觉分析界面包含：用于患者聚类与轨迹分析的嵌入过渡视图、用于模态层面特征重要性的树状图，以及用于并排对比病例分析的对比患者视图。
• 系统支持模态间与模态内探索，使用户能够检查数据模式、评估模型置信度，并追踪跨病例的诊断推理过程。
• 设计基于学习循环框架（澄清、观察、反思），将视觉交互与诊断训练的认知阶段相匹配。
• 通过计划中的优化（如并行计算与 deck.gl）解决可扩展性问题，实现实时渲染大规模患者数据集（最多 10,000 名患者）。

Figure 1 : The processing of medical data in different forms is conducted by the back-end engine . It uses a multimodal model to make predictions and employs interpretability techniques to explain them. The front-end visualization facilitates interactive exploration for improved diagnostic learning.

实验结果

研究问题

• RQ1 如何有效利用历史医疗记录作为代理，以支持模拟医学教育中的诊断学习？
• RQ2 多模态视觉分析在多大程度上能提升新手医生对各模态在诊断决策中贡献的理解？
• RQ3 交互式可视化与模型可解释性功能如何支持诊断学习过程中的自我认知与自我调整？
• RQ4 从临床医生与数据科学家的视角看，使用人工智能增强的视觉分析进行医学培训的感知优势与局限性是什么？
• RQ5 如何设计视觉分析系统，使其在保持可用性与可解释性的同时，有效扩展至大规模复杂多模态临床数据集？

主要发现

• 该系统通过直观的可视化使新手医生能够探索多模态数据，提升其识别模态依赖失衡的能力，并加深对诊断推理的理解。
• 专家访谈确认，DiagnosisAssistant 通过支持用户对比病例与分析模型预测，有助于促进反思性学习，从而增强诊断自我认知。
• 两个案例研究表明，该系统能有效揭示模型行为，并突出数据解读中的差异，有助于识别潜在的诊断错误。
• 嵌入过渡视图成功可视化了患者聚类与疾病进展模式，支持对疾病轨迹的纵向理解。
• 系统整合的事后可解释性技术为模型决策提供了可操作的洞察，但其在高风险临床应用中的可靠性仍存在担忧。
• 识别出可扩展性挑战，特别是在渲染大量图像与散点图方面，但未来优化（如使用 deck.gl、分层聚类）有望支持最多 10,000 名患者的数据库。

Figure 2 : The system interface of DiagnosisAssistant contains (A) the User panel, (B) the Embedding Transition View, (C) the Modality Exploration View, and (D) the Comparison View.