[论文解读] Handling Inter-Annotator Agreement for Automated Skin Lesion Segmentation

Vinícius Ribeiro, Sandra Avila+1 more|arXiv (Cornell University)|Jun 6, 2019

Cutaneous Melanoma Detection and Management参考文献 25被引用 17

一句话总结

本文研究了使用ISIC数据集进行皮肤病变分割时的标注者间一致性，提出采用简单的图像处理条件化技术（如凸包、形态学操作）来提高真实标签的一致性。结果表明，此类条件化显著提升了标注者间的一致性——特别是将中位Cohen’s Kappa从0.7185提升至0.7552——且未扭曲病变边界，为训练和评估鲁棒的分割模型提供了实用解决方案。

ABSTRACT

In this work, we explore the issue of the inter-annotator agreement for training and evaluating automated segmentation of skin lesions. We explore what different degrees of agreement represent, and how they affect different use cases for segmentation. We also evaluate how conditioning the ground truths using different (but very simple) algorithms may help to enhance agreement and may be appropriate for some use cases. The segmentation of skin lesions is a cornerstone task for automated skin lesion analysis, useful both as an end-result to locate/detect the lesions and as an ancillary task for lesion classification. Lesion segmentation, however, is a very challenging task, due not only to the challenge of image segmentation itself but also to the difficulty in obtaining properly annotated data. Detecting accurately the borders of lesions is challenging even for trained humans, since, for many lesions, those borders are fuzzy and ill-defined. Using lesions and annotations from the ISIC Archive, we estimate inter-annotator agreement for skin-lesion segmentation and propose several simple procedures that may help to improve inter-annotator agreement if used to condition the ground truths.

研究动机与目标

• 分析皮肤病变分割中的标注者间一致性，这是医学图像分割中一个关键但研究不足的挑战。
• 评估不同一致性水平对自动化皮肤病变分析中模型训练与评估的影响。
• 提出并测试可提升一致性但不扭曲病变边界的简单条件化方法。
• 评估条件化真实标签是否能提升分割模型评估的鲁棒性与公平性。
• 探究近期挑战中表现最佳的模型为何避免使用额外标注数据，可能的原因是否为标注不一致性。

提出的方法

• 本研究使用ISIC数据集，该数据集为每幅图像提供多个由人工标注的分割掩码，通过Cohen’s Kappa和Dice系数估算标注者间一致性。
• 应用简单的图像处理操作——边界框、凸包、形态学闭运算和形态学开运算——作为条件化技术，以修改原始真实标签。
• 将每种条件化方法应用于所有标注结果，并重新评估标注者间一致性以衡量改进效果。
• 使用统计假设检验（Kolmogorov-Smirnov检验）比较条件化前后的一致性分布。
• 分析聚焦于ISIC数据集及其在2017年和2018年挑战赛中使用的子集，以评估方法的泛化能力。
• 通过小提琴图和密度估计可视化一致性分数的分布，以比较原始与条件化后的真实标签。

实验结果

研究问题

• RQ1 在不同皮肤病变分割数据集中，标注者间一致性如何变化，特别是在ISIC数据集中？
• RQ2 标注者间一致性的不同水平在临床和机器学习应用场景中具有何种意义？
• RQ3 简单的图像处理条件化技术能否在不扭曲病变边界的情况下提升标注者间一致性？
• RQ4 哪种条件化方法带来的改进最大？这种改进在不同病变类型或图像子集中是否有所不同？
• RQ5 为何近期挑战中表现最佳的模型避免使用额外标注数据？标注不一致性是否可能是其中原因之一？

主要发现

• ISIC数据集全集的中位标注者间一致性（Cohen’s Kappa）为0.7185，ISIC 2018挑战赛子集提升至0.7552。
• 使用形态学操作和凸包进行条件化显著提升了一致性，边界框与凸包比较的p值小于0.002。
• 边界框条件化反而降低了与其他方法相比的一致性，表明过度简化可能无益。
• Kolmogorov-Smirnov检验拒绝了原始分布与所有条件化分布等价的原假设（p < 10^-20），表明一致性分布发生了统计上显著的偏移。
• 即使经过条件化，仍存在不可忽视的低一致性标注尾部，表明强烈的分歧仍未解决。
• 结果表明，条件化起到了去噪操作的作用，保留了关键病变特征的同时减少了标注者特有的噪声，从而提升了模型的鲁棒性与评估的公平性。