[论文解读] NuClick: A Deep Learning Framework for Interactive Segmentation of Microscopy Images

Navid Alemi Koohbanani, Mostafa Jahanifar+2 more|arXiv (Cornell University)|May 29, 2020

AI in cancer detection参考文献 72被引用 9

一句话总结

NuClick 是一种用于组织病理学和细胞病理学图像中核、细胞和腺体的交互式分割的深度学习框架，仅需最少用户输入——对简单结构每个对象点击一次，对复杂结构使用画线轨迹。其性能达到当前最先进水平，基于 NuClick 生成掩码训练的模型在 LYON19 挑战赛中排名第一。

ABSTRACT

Object segmentation is an important step in the workflow of computational pathology. Deep learning based models generally require large amount of labeled data for precise and reliable prediction. However, collecting labeled data is expensive because it often requires expert knowledge, particularly in medical imaging domain where labels are the result of a time-consuming analysis made by one or more human experts. As nuclei, cells and glands are fundamental objects for downstream analysis in computational pathology/cytology, in this paper we propose a simple CNN-based approach to speed up collecting annotations for these objects which requires minimum interaction from the annotator. We show that for nuclei and cells in histology and cytology images, one click inside each object is enough for NuClick to yield a precise annotation. For multicellular structures such as glands, we propose a novel approach to provide the NuClick with a squiggle as a guiding signal, enabling it to segment the glandular boundaries. These supervisory signals are fed to the network as auxiliary inputs along with RGB channels. With detailed experiments, we show that NuClick is adaptable to the object scale, robust against variations in the user input, adaptable to new domains, and delivers reliable annotations. An instance segmentation model trained on masks generated by NuClick achieved the first rank in LYON19 challenge. As exemplar outputs of our framework, we are releasing two datasets: 1) a dataset of lymphocyte annotations within IHC images, and 2) a dataset of segmented WBCs in blood smear images.

研究动机与目标

• 减少对组织病理学图像中核、细胞和腺体进行密集标注所需的时间和精力。
• 开发一种鲁棒的交互式分割方法，在保持高精度的同时最小化用户交互。
• 实现在多样化数据集和成像领域（包括重叠或不规则形状结构等挑战性情况）的泛化能力。
• 为全切片成像工作流程提供实用的标注工具，支持下游全监督学习。

提出的方法

• 该框架采用基于卷积神经网络的架构，将 RGB 图像、包含图（点击/画线轨迹）和排除图（周围区域）作为多通道输入。
• 在核或细胞内部单次点击用作包含信号，而自由手绘的画线轨迹则用于引导复杂多细胞结构（如腺体）的分割。
• 排除图可明确抑制其他对象附近的预测结果，从而提升对重叠或簇状结构的性能。
• 模型通过在预测分割掩码上使用二元交叉熵损失进行端到端训练。
• 该框架支持通过修改引导信号（点击/画线轨迹）实现用户迭代修正，以优化预测结果。
• 该方法设计为可适应不同尺度的对象，并对不精确的用户输入具有鲁棒性。

实验结果

研究问题

• RQ1 深度学习模型能否仅通过每个对象一次用户点击，即实现组织病理学图像中核和细胞的精确分割？
• RQ2 基于画线轨迹的引导信号能否实现对复杂不规则形状腺体的精确分割？
• RQ3 该框架对用户输入的差异（如不精确点击或画线）有多强的鲁棒性？
• RQ4 排除图是否显著提升了对重叠或簇状对象的性能？
• RQ5 该框架是否能在无需微调的情况下泛化到新数据集和成像领域？

主要发现

• NuClick 在 MoNuSeg 数据集上达到最先进性能，平均交并比（AJI）为 0.834，Dice 系数为 0.912。
• 排除图至关重要：移除后 AJI 从 0.834 降至 0.815，Dice 系数从 0.912 降至 0.894，表明其对重叠结构的重要性。
• 该模型成功分割了具有挑战性的案例，包括接触的核、模糊的血细胞，以及带孔洞或不规则形状的腺体。
• 即使在高级别癌变组织以及跨域场景（如免疫组化和血涂片图像）中，NuClick 也能生成可靠的标注。
• 基于 NuClick 生成掩码训练的实例分割模型在 LYON19 挑战赛中获得第一名。
• 该框架展现出强大的泛化能力，在六个不同数据集中表现良好，且无需领域特定的微调。