[论文解读] Interpretable and Intervenable Ultrasonography-based Machine Learning Models for Pediatric Appendicitis

Ričards Marcinkevičs, Patricia Reis Wolfertstetter+10 more|arXiv (Cornell University)|Feb 28, 2023

Colorectal Cancer Screening and Detection参考文献 67被引用 1

一句话总结

本论文提出了一种用于儿科阑尾炎的可解释且可干预的机器学习模型，基于腹部超声图像，利用一种新颖的多视角概念瓶颈模型（MVCBM），使临床医生能够与高层次、具有临床意义的概念进行交互。该模型在诊断预测中实现了0.80的AUROC和0.92的AUPR，与黑箱神经网络性能相当，同时保持了可解释性与实时可用性，且无需图像标注。

ABSTRACT

Appendicitis is among the most frequent reasons for pediatric abdominal surgeries. Previous decision support systems for appendicitis have focused on clinical, laboratory, scoring, and computed tomography data and have ignored abdominal ultrasound, despite its noninvasive nature and widespread availability. In this work, we present interpretable machine learning models for predicting the diagnosis, management and severity of suspected appendicitis using ultrasound images. Our approach utilizes concept bottleneck models (CBM) that facilitate interpretation and interaction with high-level concepts understandable to clinicians. Furthermore, we extend CBMs to prediction problems with multiple views and incomplete concept sets. Our models were trained on a dataset comprising 579 pediatric patients with 1709 ultrasound images accompanied by clinical and laboratory data. Results show that our proposed method enables clinicians to utilize a human-understandable and intervenable predictive model without compromising performance or requiring time-consuming image annotation when deployed. For predicting the diagnosis, the extended multiview CBM attained an AUROC of 0.80 and an AUPR of 0.92, performing comparably to similar black-box neural networks trained and tested on the same dataset.

研究动机与目标

• 开发基于超声影像的可解释且可干预的儿科阑尾炎机器学习模型，以弥补现有AI工具在临床可用性方面的不足。
• 使临床医生能够通过高层次、人类可理解的概念（如“阑尾直径”或“游离液体”）与模型交互并修改预测结果。
• 将概念瓶颈模型（CBM）扩展至处理多个超声视角及不完整的概念集合，提升在真实临床环境中的鲁棒性。
• 在包含579名儿科患者的公开数据集（共1,709张超声图像）上验证模型，确保可复现性与临床相关性。
• 部署一个基于网络的演示工具，实现实时、交互式的模型使用，促进临床采纳与信任。

提出的方法

• 本研究采用概念瓶颈模型（CBM）框架，即预测基于中间阶段、具有临床可解释性的概念，而非原始像素。
• 提出一种CBM的多视角扩展（MVCBM），以整合同一患者多个超声视角的特征，提升模型鲁棒性与性能。
• 采用半监督方式训练模型，结合已标注的概念与弱监督的图像级标签，降低对昂贵全标注的依赖。
• 提出一种新型架构，支持在概念集合不完整的情况下进行预测，允许临床医生仅输入已知或不确定的发现。
• 该方法支持实时干预：临床医生可调整概念值（如“阑尾直径 > 6mm”），并立即观察其对诊断或严重程度预测的影响。
• 模型在包含579名儿科患者、1,709张超声图像的数据库上进行训练与评估，结合临床与实验室数据，主要采用AUROC与AUPR作为评估指标。

实验结果

研究问题

• RQ1 基于超声图像的概念性机器学习模型能否在保持对临床医生可解释性的同时，实现对儿科阑尾炎的高诊断性能？
• RQ2 如何将概念瓶颈模型扩展以处理临床环境中多个超声视角及不完整概念输入的情况？
• RQ3 临床医生能否通过高层次、具有临床相关性的概念有意义地与模型交互并修改预测结果，而不影响性能？
• RQ4 该可解释的MVCBM在相同数据集上的性能与黑箱深度学习模型相比如何？
• RQ5 该模型能否实现实时部署且标注开销极低，从而实现实际临床应用？

主要发现

• 扩展的多视角概念瓶颈模型（MVCBM）在诊断儿科阑尾炎时实现了0.80的AUROC与0.92的AUPR，与同一数据集上黑箱神经网络的性能相当。
• 该模型支持实时交互式预测，临床医生可修改概念值（如“游离液体存在”），并立即观察其对诊断或严重程度估计的影响。
• 即使在概念集合不完整的情况下，模型仍保持高性能，表现出对缺失临床信息的强鲁棒性。
• 该方法支持临床医生参与的解释机制：用户可追溯预测结果至特定的超声影像发现，增强信任与透明度。
• 已公开部署一个网络演示工具（https://papt.inf.ethz.ch/mvcbm），支持对模型的实时交互。
• 本研究也指出了若干局限性，包括保守治疗患者缺乏组织学确诊，以及超声预处理中缺少尺度信息，可能影响模型鲁棒性。