[论文解读] Embedding-based Instance Segmentation in Microscopy

Manan Lalit, Pavel Tomančák+1 more|arXiv (Cornell University)|Jan 25, 2021

Cell Image Analysis Techniques参考文献 24被引用 8

一句话总结

本文提出 EmbedSeg，一种轻量级、端到端的 2D 和 3D 显微图像实例分割方法，通过像素级空间嵌入和不确定性感知聚类实现最先进性能。该方法在多个数据集上优于现有方法，且仅需 7 GB GPU 显存，可在消费级 GPU 上训练。

ABSTRACT

Automatic detection and segmentation of objects in 2D and 3D microscopy data is important for countless biomedical applications. In the natural image domain, spatial embedding-based instance segmentation methods are known to yield high-quality results, but their utility for segmenting microscopy data is currently little researched. Here we introduce EmbedSeg, an embedding-based instance segmentation method which outperforms existing state-of-the-art baselines on 2D as well as 3D microscopy datasets. Additionally, we show that EmbedSeg has a GPU memory footprint small enough to train even on laptop GPUs, making it accessible to virtually everyone. Finally, we introduce four new 3D microscopy datasets, which we make publicly available alongside ground truth training labels. Our open-source implementation is available at https://github.com/juglab/EmbedSeg.

研究动机与目标

• 解决复杂、不规则形状物体在 2D 和 3D 显微图像中缺乏有效实例分割方法的问题。
• 克服轴对齐边界框方法（如 Mask R-CNN）和星凸性假设（如 StarDist）在处理多样化形态时的局限性。
• 实现在极低 GPU 显存占用下直接进行 3D 实例分割，使其可在标准硬件上使用。
• 通过发布四个高质量的 3D 显微图像数据集并附带真实标注，建立新基准。
• 开发一个统一框架，通过空间嵌入和可学习聚类带宽，实现对 2D 和 3D 数据的泛化。

提出的方法

• 每个像素预测一个至其所属物体实例内唯一嵌入点的 3D 偏移向量，实现实例特定的聚类。
• 每个像素独立预测一个不确定性向量，以估计所预测嵌入的可靠性，提升对噪声和模糊性的鲁棒性。
• 每个像素预测一个“种子度”分数，用于识别高置信度的物体实例中心，有助于实例分离。
• 模型采用分支式 ERF-Net 架构，共享编码器并分叉出用于偏移、不确定性和种子度预测的头。
• 通过损失函数优化训练，该损失函数通过嵌入一致性与聚类约束，最大化预测掩码与真实掩码之间的 IoU。
• 推理阶段通过预测的嵌入和带宽执行聚类，每个聚类对应一个物体实例。

实验结果

研究问题

• RQ1 基于嵌入的实例分割能否有效适配具有复杂、非轴对齐形状的 2D 和 3D 显微图像数据？
• RQ2 所提出方法是否在 2D 和 3D 显微图像实例分割基准上均优于现有最先进基线方法？
• RQ3 该方法能否在低资源硬件（如笔记本 GPU）上高效训练与部署？
• RQ4 与仅使用嵌入的标准方法相比，引入不确定性头和种子度头是否能提升分割性能？
• RQ5 该方法能否在 3D 体积数据中泛化于多样化的生物成像模式和物体形态？

主要发现

• EmbedSeg 在三个 2D 和四个 3D 显微图像数据集上实现最先进性能，优于现有基线方法，包括 U-Net、Cellpose 和 StarDist-3D。
• 在 Paryhale-Nuclei-IGFL 2D 数据集上，EmbedSeg 在 IoU 阈值为 0.5 时达到平均 AP 0.581，超过最佳基线（Cellpose）的 0.545。
• 在 3D Mouse-Organoid-Cells-CBG 数据集上，EmbedSeg 在 IoU 0.5 时达到平均 AP 0.581，优于 StarDist-3D（0.472）和 U-Net（0.280）。
• EmbedSeg 仅需 7 GB GPU 显存，可在消费级 GPU 上训练，而 StarDist-3D 需要 20 GB 显存，因此可及性较低。
• 该方法在多种 3D 数据集（包括小鼠类器官、platynereis 胚胎和颅骨核）上泛化良好，性能提升一致。
• 发布四个附带真实标签的新型 3D 显微图像数据集，为未来 3D 实例分割研究提供了宝贵基准。