[论文解读] Medico Multimedia Task at MediaEval 2020: Automatic Polyp Segmentation

Debesh Jha, Steven A. Hicks+6 more|arXiv (Cornell University)|Dec 30, 2020

Colorectal Cancer Screening and Detection参考文献 16被引用 15

一句话总结

本文介绍了2020年Medico多媒体挑战赛，聚焦于自动息肉分割任务，引入了一个基准测试，使用公开可用的Kvasir-SEG数据集进行训练，并采用一个新的未见测试集进行评估。该研究通过mIoU和FPS评估分割模型，旨在推动临床内镜检查中鲁棒、准确且高效的算法，以降低息肉漏诊率。

ABSTRACT

Colorectal cancer is the third most common cause of cancer worldwide. According to Global cancer statistics 2018, the incidence of colorectal cancer is increasing in both developing and developed countries. Early detection of colon anomalies such as polyps is important for cancer prevention, and automatic polyp segmentation can play a crucial role for this. Regardless of the recent advancement in early detection and treatment options, the estimated polyp miss rate is still around 20\%. Support via an automated computer-aided diagnosis system could be one of the potential solutions for the overlooked polyps. Such detection systems can help low-cost design solutions and save doctors time, which they could for example use to perform more patient examinations. In this paper, we introduce the 2020 Medico challenge, provide some information on related work and the dataset, describe the task and evaluation metrics, and discuss the necessity of organizing the Medico challenge.

研究动机与目标

• 为在标准化、公开可用的数据集上自动息肉分割的最先进计算机视觉与机器学习算法提供基准测试与比较。
• 提高息肉检测系统的准确性和效率，以降低结肠镜检查中20%的息肉漏诊率。
• 通过共享基准测试并引入一个新的未见测试集，促进可复现、开放且可泛化的研究方法。
• 评估分割性能（mIoU）与实时处理速度（FPS），以确保临床可行性。
• 支持临床级计算机辅助诊断（CADx）系统的开发，以实现早期结直肠癌的检测。

提出的方法

• 参赛者使用包含1,000张带真实标注掩码的息肉图像的Kvasir-SEG数据集进行模型训练。
• 使用一个独立的、未见过的160张息肉图像测试集进行基准测试，以确保模型泛化能力。
• 通过平均交并比（mIoU）评估分割性能，当mIoU值相同时，使用Dice相似系数（DSC）作为平局判定依据。
• 在NVIDIA GeForce GTX 1080系统上通过容器化部署方式测量帧率（FPS），以评估速度效率。
• 挑战赛强调高准确率与实时性能，以支持临床实时应用。
• 参赛者需提交与测试图像分辨率匹配的预测分割掩码，打包为zip文件。

实验结果

研究问题

• RQ1 不同深度学习模型在多样化结肠镜图像中进行息肉分割的mIoU与FPS表现如何？
• RQ2 模型效率对临床部署的影响如何，特别是在实时内镜检查中的表现？
• RQ3 在Kvasir-SEG上训练的模型在未见的真实世界息肉图像上的泛化性能如何？
• RQ4 与人类内镜医师相比，自动化系统在多大程度上能够降低息肉漏诊率？
• RQ5 在息肉检测模型中，分割准确率与推理速度之间存在何种权衡？

主要发现

• Medico 2020挑战赛使用一个新的未见测试集（160张息肉图像）提供了标准化的基准测试，用于评估分割模型。
• 主要评估指标为mIoU，当mIoU值相同时，使用DSC作为次要指标进行平局判定。
• 挑战赛强调实时性能，要求在GTX 1080 GPU上通过容器化部署方式评估FPS。
• Kvasir-SEG数据集用于训练，包含1,000张来自临床内镜的息肉图像，具有像素级标注。
• 该任务凸显了在临床整合中平衡高准确率（mIoU）与低推理延迟（FPS）的重要性。
• 该挑战赛支持可复现研究，并致力于加速CADx系统的开发，以降低结直肠癌筛查中的息肉漏诊率。