[论文解读] Endoscopy artifact detection (EAD 2019) challenge dataset

Sharib Ali, Felix Zhou+10 more|arXiv (Cornell University)|May 8, 2019

Colorectal Cancer Screening and Detection参考文献 1被引用 45

一句话总结

这篇论文提出了 EAD 2019 挑战数据集，用于多类内窥镜伪影检测与语义分割，详细介绍数据集、标注协议和评估标准，以推动稳健的伪影定位与泛化。

ABSTRACT

Endoscopic artifacts are a core challenge in facilitating the diagnosis and treatment of diseases in hollow organs. Precise detection of specific artifacts like pixel saturations, motion blur, specular reflections, bubbles and debris is essential for high-quality frame restoration and is crucial for realizing reliable computer-assisted tools for improved patient care. At present most videos in endoscopy are currently not analyzed due to the abundant presence of multi-class artifacts in video frames. Through the endoscopic artifact detection (EAD 2019) challenge, we address this key bottleneck problem by solving the accurate identification and localization of endoscopic frame artifacts to enable further key quantitative analysis of unusable video frames such as mosaicking and 3D reconstruction which is crucial for delivering improved patient care. This paper summarizes the challenge tasks and describes the dataset and evaluation criteria established in the EAD 2019 challenge.

研究动机与目标

• 推动对多类内窥镜帧伪影的准确检测与定位，以实现帧修复和定量视频分析。
• 提供一个覆盖多器官、多模态和多人群的大型跨机构数据集用于伪影检测与分割。
• 建立标注协议和评估指标，促进跨数据集泛化并减少标注偏差。

提出的方法

• 从6个机构、4个国家和多种内镜模态组装一个大型跨中心数据集。
• 定义7个伪影类别用于边界框检测，5个类别用于语义分割，且有专家验证的地面真相。
• 使用带有特定标注规则的边界框和分割掩模来处理多类及重叠的伪影。
• 应用检测的评估指标包括IoU和mAP，分割采用Dice/IoU/F2，最终分数为对mAP和IoU加权的分数。
• 增加一个泛化任务，使用第六个机构，通过比较训练/测试集与泛化集之间的mAP来评估跨数据集鲁棒性。

实验结果

研究问题

• RQ1 在存在高光、气泡、饱和和运动模糊等伪影的内镜帧上，是否可以对多类伪影进行准确检测与分割？
• RQ2 大型的多机构数据集是否提升跨中心和跨模态的伪影检测方法的泛化能力？
• RQ3 哪种评估框架在定位精度与按类别的检测性能之间取得最佳平衡，用于内镜伪影？

主要发现

• 该数据集聚合了用于检测的2147帧带7个伪影类别的标注，以及用于分割的475帧带5个类别的标注，并有122帧用于在线测试评估。
• 挑战定义最终检测分数为 score_d = 0.6 × mAP_d + 0.4 × IoU_d，并使用 IoU ≥ 0.25 作为匹配阈值。
• 对于分割，分数将 Dice（DSC）、IoU 和 F2-误差结合成最终分数 score_s = 0.75 × [0.5 × (DSC + IoU)] + 0.25 × F2 − error。
• 泛化性能在第六个机构上进行评估，排名基于 dev_g = mAP_d − mAP_g，寻求较小的 dev_g 和较高的 mAP_g。
• 地面真相标注涉及7个检测类别和5个分割类别，并有临床医生验证以及管理评注者变异性的规则。