[论文解读] CaDIS: Cataract Dataset for Image Segmentation

Maria Grammatikopoulou, Evangello Flouty+6 more|arXiv (Cornell University)|Jun 27, 2019

Retinal Imaging and Analysis被引用 18

一句话总结

本论文介绍了CaDIS，一个大规模、公开可用的白内障手术视频帧数据集，包含4,670帧，对36个类别进行像素级标注，涵盖解剖结构、器械和手术工具。该研究对最先进的深度学习模型——UNet、DeepLabV3+、UPerNet和HRNet进行基准测试，结果表明HRNet和UPerNet在同时进行解剖结构与器械分割方面表现更优，尤其在细粒度器械分类任务中表现突出。

ABSTRACT

Video feedback provides a wealth of information about surgical procedures and is the main sensory cue for surgeons. Scene understanding is crucial to computer assisted interventions (CAI) and to post-operative analysis of the surgical procedure. A fundamental building block of such capabilities is the identification and localization of surgical instruments and anatomical structures through semantic segmentation. Deep learning has advanced semantic segmentation techniques in the recent years but is inherently reliant on the availability of labelled datasets for model training. This paper introduces a dataset for semantic segmentation of cataract surgery videos complementing the publicly available CATARACTS challenge dataset. In addition, we benchmark the performance of several state-of-the-art deep learning models for semantic segmentation on the presented dataset. The dataset is publicly available at https://cataracts-semantic-segmentation2020.grand-challenge.org/.

研究动机与目标

• 为解决白内障手术中语义分割缺乏全面且公开可用的数据集的问题，该问题对推进计算机辅助干预（CAI）至关重要。
• 提供一个丰富标注的数据集，不仅包含手术器械，还包含解剖结构和非手术物体，以实现对整个手术场景的全面理解。
• 在该数据集上对最先进的深度学习模型进行基准测试，以评估其在不同复杂度水平的分割任务中的性能，包括器械分类。
• 支持实时术中引导系统、术后分析及手术技能评估工具的开发。

提出的方法

• 该数据集CaDIS由CATARACTS挑战赛训练集中的4,670张图像组成，对36个类别进行像素级标注：4种解剖结构、29种手术器械和3种非解剖物体。
• 标注由专家标注员以高精度完成，确保在临床和研究应用中的一致性与高质量。
• 在三个复杂度逐步提升的器械类别分组任务上，对四种最先进的语义分割模型——UNet、DeepLabV3+、UPerNet和HRNetV2——进行了训练与评估。
• 通过mIoU（平均交并比）、PA（像素准确率）和每类mIoU对模型性能进行评估，重点关注解剖结构与器械类别之间类别不平衡的影响。
• 模型采用标准深度学习训练流程，使用交叉熵损失和数据增强技术进行训练，推理在验证集和测试集上进行。
• 为缓解类别不平衡问题，模型在整体mIoU和每类mIoU上进行评估，测试集中实例数量不足的类别被排除在最终分析之外。

实验结果

研究问题

• RQ1 最先进的深度学习模型在包含多样化解剖与器械类别的新大型语义分割数据集上表现如何，特别是在白内障手术场景中？
• RQ2 随着器械类别数量的增加，分割性能（尤其是mIoU和类别层面的一致性）受到何种影响？
• RQ3 当解剖结构在像素数量上占主导地位时，类别不平衡如何影响模型性能，特别是对罕见或小型器械类别的影响？
• RQ4 在包括同时进行解剖结构与器械分类在内的多种分割任务中，哪种模型架构（UNet、DeepLabV3+、UPerNet、HRNet）表现出最稳健的性能？
• RQ5 HRNet和UPerNet等具有更大感受野的模型，在细粒度手术器械分割任务中，是否显著优于标准架构如UNet和DeepLabV3+？

主要发现

• HRNetV2和UPerNet在解剖结构与器械分割任务中均取得了最高的mIoU分数，尤其在涉及多种器械类型同时分类的复杂任务中表现最优。
• UNet在所有任务中对解剖结构分割的mIoU均超过85%，但在器械分割任务中表现显著偏低，尤其是在多类器械分类时。
• 使用MobileNetV2主干网络的DeepLabV3+在器械分割任务中优于UNet，表明当网络架构与特征学习得到优化时，轻量化模型同样具有高效性。
• 每类mIoU指标显示，UNet在分割大范围解剖区域方面表现优异，但在细小边界和小型器械类别上表现不佳；而DeepLabV3+、UPerNet和HRNet则在器械预测上更加一致且准确。
• 在验证集与测试集之间观察到稳定的mIoU差距，主要源于不同视频集间类别分布的差异，因此将代表性不足的类别从最终评估中排除是合理的。
• UPerNet和HRNet生成的分割边界比DeepLabV3+和UNet更平滑、更少噪声，表明其在复杂手术场景中具备更强的泛化能力与特征学习能力。