[论文解读] BreastScreening: On the Use of Multi-Modality in Medical Imaging Diagnosis

Francisco Maria Calisto, Nuno Nunes+1 more|arXiv (Cornell University)|Jan 1, 2020

AI in cancer detection参考文献 9被引用 7

一句话总结

本文提出 BreastScreening，一种多模态医学影像界面，整合乳腺X线摄影（MG）、超声（US）和磁共振成像（MRI）用于乳腺癌诊断。在六个机构的31名放射科医生中进行评估，该系统通过支持跨模态的同步可视化与标注，显著缩短了诊断时间并提高了BIRADS分类准确性，尤其在复杂病例中表现突出，证明了多模态整合在筛查工作流程中的临床价值。

ABSTRACT

This paper describes the field research, design and comparative deployment of a multimodal medical imaging user interface for breast screening. The main contributions described here are threefold: 1) The design of an advanced visual interface for multimodal diagnosis of breast cancer (BreastScreening); 2) Insights from the field comparison of single vs multimodality screening of breast cancer diagnosis with 31 clinicians and 566 images, and 3) The visualization of the two main types of breast lesions in the following image modalities: (i) MammoGraphy (MG) in both Craniocaudal (CC) and Mediolateral oblique (MLO) views; (ii) UltraSound (US); and (iii) Magnetic Resonance Imaging (MRI). We summarize our work with recommendations from the radiologists for guiding the future design of medical imaging interfaces.

研究动机与目标

• 为解决单一模态影像中乳腺癌诊断不一致且耗时的临床挑战，通过整合多种影像模态实现改进。
• 通过支持乳腺X线摄影、超声和MRI中病灶的同步可视化与标注，降低认知负荷并提高诊断准确性。
• 评估多模态与单模态方法在放射科医生表现、时间效率和分类一致性方面的实际影响，场景为真实临床环境。
• 基于临床医生反馈与多样化临床环境中的实证评估，为未来医学影像界面的设计提供建议。

提出的方法

• 在六个机构开展31名放射科医生的形成性研究，包括观察与半结构化访谈，以理解临床工作流程与痛点。
• 设计 BreastScreening 作为概念验证界面，支持在MG（CC与MLO视图）、US和MRI中对肿块与钙化进行多模态可视化，并集成基于BIRADS的分类与病灶标注工具。
• 实现双视图界面，允许临床医生在单模态与多模态视图间切换，以支持对比诊断。
• 收集诊断时间、点击次数、工作量（NASA-TLX）和可用性（SUS）的定量数据，以及BIRADS分类准确性。
• 对SUS评分、工作量指标、时间/点击次数及BIRADS差异进行方差分析（ANOVA），比较单模态与多模态条件下的表现。
• 开展定性访谈，收集临床医生对可用性、感知实用性及在日常放射科实践中集成潜力的反馈。

实验结果

研究问题

• RQ1 与单模态筛查相比，使用多模态影像（MG、US、MRI）如何影响放射科医生的诊断时间与效率？
• RQ2 多模态整合在多大程度上提升了不同临床经验水平下乳腺病变BIRADS分类的准确性和一致性？
• RQ3 与单模态诊断工作流程相比，多模态诊断工作流程的认知负荷（通过NASA-TLX测量）有何差异？
• RQ4 在将多种影像模态整合到单一诊断界面时，面临的主要可用性与工作流程挑战是什么？如何解决这些问题？

主要发现

• 与单模态条件相比，多模态条件显著缩短了每幅图像的诊断时间，且在不同临床经验水平间无显著交互效应。
• 使用多模态界面的放射科医生SUS评分更高（M = 2.9，SD = 0.90），高于使用单模态界面者（M = 2.7，SD = 1.01），表明感知可用性更优（p < 0.05）。
• 多模态条件在心理、体力和时间负荷方面均显著降低（p < 0.05），且挫败感与努力程度更低，表明认知负担减轻。
• 在多模态条件下，BIRADS分类准确性得到提升，尤其在最严重病例（P2，BIRADS = 5）中，与专家分类的平均绝对偏差更小，方差更低。
• 31名临床医生中有19人表示该系统在其当前放射科工作间将是巨大助力，31人中有28人表示强烈意愿在日常实践中定期使用。
• 该系统显著降低了临床医生间BIRADS分类的差异（均值与方差），尤其在复杂病例中，表明多模态整合可提升诊断一致性。