[论文解读] Assessing generalisability of deep learning-based polyp detection and segmentation methods through a computer vision challenge

Sharib Ali, Noha Ghatwary+30 more|arXiv (Cornell University)|Feb 24, 2022

Colorectal Cancer Screening and DetectionMedicine被引用 19

一句话总结

本研究通过EndoCV 2021挑战赛，评估了基于深度学习的息肉检测与分割模型的泛化能力，使用了一个多中心、多模态的结肠镜检查数据集。表现最佳的团队在各种验证集上的Dice分数超过80%，但结果揭示了在未见中心和成像条件下模型鲁棒性的关键局限，凸显了临床人工智能系统中提升泛化能力的迫切需求。

ABSTRACT

Polyps are well-known cancer precursors identified by colonoscopy. However, variability in their size, location, and surface largely affect identification, localisation, and characterisation. Moreover, colonoscopic surveillance and removal of polyps (referred to as polypectomy ) are highly operator-dependent procedures. There exist a high missed detection rate and incomplete removal of colonic polyps due to their variable nature, the difficulties to delineate the abnormality, the high recurrence rates, and the anatomical topography of the colon. There have been several developments in realising automated methods for both detection and segmentation of these polyps using machine learning. However, the major drawback in most of these methods is their ability to generalise to out-of-sample unseen datasets that come from different centres, modalities and acquisition systems. To test this hypothesis rigorously we curated a multi-centre and multi-population dataset acquired from multiple colonoscopy systems and challenged teams comprising machine learning experts to develop robust automated detection and segmentation methods as part of our crowd-sourcing Endoscopic computer vision challenge (EndoCV) 2021. In this paper, we analyse the detection results of the four top (among seven) teams and the segmentation results of the five top teams (among 16). Our analyses demonstrate that the top-ranking teams concentrated on accuracy (i.e., accuracy > 80% on overall Dice score on different validation sets) over real-time performance required for clinical applicability. We further dissect the methods and provide an experiment-based hypothesis that reveals the need for improved generalisability to tackle diversity present in multi-centre datasets.

研究动机与目标

• 严格评估深度学习模型在不同临床环境中息肉检测与分割的泛化性能。
• 识别最先进模型在应用于不同内镜中心、系统和成像模态的分布外数据时的局限性。
• 评估验证集上的高准确率是否能转化为在未见的真实临床数据上的可靠性能。
• 为改善临床内镜人工智能应用中的模型鲁棒性提供可操作的见解。
• 基准化并分析大规模、多机构计算机视觉挑战赛中表现最佳的方法。

提出的方法

• 整理了一个多中心、多人群的结肠镜检查数据集，包含来自6个不同内镜中心的3,762帧标注图像，涵盖WLE和NBI模态。
• 组织EndoCV 2021挑战赛，汇集全球机器学习团队开发息肉检测与分割模型。
• 在四个不同的测试集上评估模型：NBI-single、WLE-single、已见序列和未见序列数据，代表多样的临床条件。
• 使用标准指标进行定量评估，包括Dice分数（DSC）、Jaccard系数（JC）、F2-score、PPV、召回率、准确率（ACC）和Hausdorff距离（H d）。
• 根据在验证集上的综合表现，选出检测任务的前四名团队和分割任务的前五名团队。
• 开展消融实验和方法论分析，以识别顶尖模型中的设计模式及泛化失败的原因。

实验结果

研究问题

• RQ1 最先进的息肉检测与分割深度学习模型在不同内镜中心和成像模态之间的泛化能力如何？
• RQ2 在分布内验证集上表现优异，多大程度上能预测在分布外、真实世界测试数据上的成功？
• RQ3 哪些网络架构或训练选择最能促进或导致跨中心泛化的鲁棒性或失败？
• RQ4 顶尖模型中是否存在可识别的设计模式以增强泛化能力？与基线方法相比有何差异？
• RQ5 当前模型在未见序列数据和多样化成像条件下的主要失败模式是什么？

主要发现

• 表现最佳的团队在所有验证集上的Dice分数均超过80%，表明其在分布内数据上表现强劲。
• 尽管准确率高，模型在未见序列数据上表现出显著的性能下降（例如，Dice分数降至约0.30–0.40），表明其在分布外数据上的泛化能力差。
• 最佳分割模型在已见序列上的Dice分数为0.6744 ± 0.3011，在未见序列上为0.4096 ± 0.3577，显示出鲁棒性大幅下降。
• 团队更注重准确率而非推理速度，没有模型实现实时性能，限制了其在临床中的可部署性。
• 分析表明，依赖多尺度特征和注意力机制的模型表现出更好的泛化能力，但仍无法在未见中心和模态上成功运行。
• 本研究识别出当前深度学习方法中的一个关键差距：在精心构建的基准测试中表现优异，并不意味着在真实世界、多中心临床部署中具有可靠性。