[论文解读] Instance-aware Self-supervised Learning for Nuclei Segmentation

Xinpeng Xie, Jiawei Chen+4 more|arXiv (Cornell University)|Jul 22, 2020

AI in cancer detection参考文献 17被引用 4

一句话总结

该论文提出了一种用于核实例分割的实例感知自监督学习框架，通过利用尺度级三元组学习和计数排序任务，从无标注组织病理学图像中隐式学习核的大小和数量先验。该方法在使用自监督ResUNet-101的情况下，在MoNuSeg数据集上实现了70.63%的平均AJI新SOTA结果，显著优于从零开始训练和先前的自监督方法。

ABSTRACT

Due to the wide existence and large morphological variances of nuclei, accurate nuclei instance segmentation is still one of the most challenging tasks in computational pathology. The annotating of nuclei instances, requiring experienced pathologists to manually draw the contours, is extremely laborious and expensive, which often results in the deficiency of annotated data. The deep learning based segmentation approaches, which highly rely on the quantity of training data, are difficult to fully demonstrate their capacity in this area. In this paper, we propose a novel self-supervised learning framework to deeply exploit the capacity of widely-used convolutional neural networks (CNNs) on the nuclei instance segmentation task. The proposed approach involves two sub-tasks (i.e., scale-wise triplet learning and count ranking), which enable neural networks to implicitly leverage the prior-knowledge of nuclei size and quantity, and accordingly mine the instance-aware feature representations from the raw data. Experimental results on the publicly available MoNuSeg dataset show that the proposed self-supervised learning approach can remarkably boost the segmentation accuracy of nuclei instance---a new state-of-the-art average Aggregated Jaccard Index (AJI) of 70.63%, is achieved by our self-supervised ResUNet-101. To our best knowledge, this is the first work focusing on the self-supervised learning for instance segmentation.

研究动机与目标

• 解决核实例分割中因标注数据有限而制约深度学习性能的挑战。
• 通过开发一种自监督预训练框架，减少对昂贵人工标注的依赖，以克服数据稀缺问题。
• 通过在原始无标注数据上设计代理任务，使卷积神经网络隐式学习实例感知特征——特别是核的大小和数量。
• 在预训练阶段不依赖实例级标注的情况下，实现核实例分割的最先进性能。
• 通过在MoNuSeg和CPM数据集上的验证，证明方法的泛化性和鲁棒性，显示对强基线模型的一致性改进。

提出的方法

• 设计一种由两个子任务组成的自监督代理任务：尺度级三元组学习和计数排序，以向网络注入实例感知的归纳偏置。
• 从组织病理学图像的图像块中生成三元组样本（锚点、正样本、负样本），其中正样本的核大小与锚点相似，负样本的核大小大于锚点。
• 制定尺度级三元组损失（$\mathcal{L}_{ST}$），以强制使相似大小的核的特征嵌入更接近，而不同大小的核的特征嵌入更远离。
• 引入计数排序损失（$\mathcal{L}_{CR}$），通过基于核密度对图像块进行排序，促使网络学习核数量的相对差异。
• 在无任何实例级标注的情况下，使用MoNuSeg数据集对ResUNet-101主干网络进行联合代理任务的预训练。
• 在下游核实例分割任务中，仅使用少量标注数据对预训练模型进行微调。

实验结果

研究问题

• RQ1 是否可以通过编码核大小和数量先验的自监督代理任务，提升在标注数据有限情况下的实例分割性能？
• RQ2 所提出的实例感知自监督学习框架与标准自监督方法（如Jigsaw、RotNet、ColorMe）相比，在核实例分割任务中表现如何？
• RQ3 在核分割任务中，该代理任务的预训练在多大程度上减少了对大规模标注数据的需求？
• RQ4 联合优化尺度级三元组损失和计数排序损失是否能带来优于单独使用任一损失的特征表示？
• RQ5 该方法是否能泛化到MoNuSeg以外的其他组织病理学数据集？

主要发现

• 所提出的自监督预训练策略在MoNuSeg 2018测试集上实现了70.63%的新SOTA平均聚合交并比（AJI），比之前最佳方法（CIA-Net）高出1.56个百分点。
• 与从零开始训练相比，该方法在AJI上提升了+5.34%，证明了在无标注数据下学习实例感知特征的有效性。
• 消融实验证实，结合尺度级三元组学习和计数排序损失可带来最高的性能增益（相比从零开始训练提升+5.34%），其中单独使用两种损失分别贡献+4.35%和+4.80%。
• 在CPM数据集上，自监督ResUNet-101实现了86.36%的平均Dice分数，与CPM 2018竞赛冠军（87.00%）相当。
• 当仅使用10%的训练标注数据进行微调时，该方法在AJI上实现了+11.43%的提升，凸显其数据效率。
• 与SOTA模型如CIA-Net（使用DenseNet主干和双解码器）相比，该框架在更低的计算复杂度和更少参数下实现了更优性能。