[论文解读] Learning Multiscale Consistency for Self-supervised Electron Microscopy Instance Segmentation

Yinda Chen, Wei Huang+4 more|arXiv (Cornell University)|Aug 19, 2023

Advanced Electron Microscopy Techniques and ApplicationsBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本文提出了一种用于电子显微镜实例分割的自监督预训练框架，通过体素级重建、基于交叉注意力的特征匹配以及特征金字塔上的对比学习，强制实现多尺度一致性。通过在四个大规模EM数据集上使用具有强增强和弱增强的孪生网络，该方法在有限微调数据下实现了最先进性能，尤其在极低数据量场景下表现突出，仅使用10张图像进行神经元分割时，VOI提升高达46.8%。

ABSTRACT

Instance segmentation in electron microscopy (EM) volumes is tough due to complex shapes and sparse annotations. Self-supervised learning helps but still struggles with intricate visual patterns in EM. To address this, we propose a pretraining framework that enhances multiscale consistency in EM volumes. Our approach leverages a Siamese network architecture, integrating both strong and weak data augmentations to effectively extract multiscale features. We uphold voxel-level coherence by reconstructing the original input data from these augmented instances. Furthermore, we incorporate cross-attention mechanisms to facilitate fine-grained feature alignment between these augmentations. Finally, we apply contrastive learning techniques across a feature pyramid, allowing us to distill distinctive representations spanning various scales. After pretraining on four large-scale EM datasets, our framework significantly improves downstream tasks like neuron and mitochondria segmentation, especially with limited finetuning data. It effectively captures voxel and feature consistency, showing promise for learning transferable representations for EM analysis.

研究动机与目标

• 为解决电子显微镜实例分割中标注数据有限的挑战，开发一种自监督预训练框架。
• 通过多尺度特征学习，提升对复杂形态的鲁棒性。
• 通过强制实现体素级与特征级的一致性，提升表征质量。
• 实现在极低微调数据量下的强大下游性能，尤其在低数据场景中表现优异。
• 开发一种可泛化的预训练方法，兼容CNN与Transformer主干网络。

提出的方法

• 采用孪生网络架构处理弱增强与强增强的EM体数据输入，通过权重共享确保一致的特征学习。
• 应用体素级重建损失，强制原始输入与从增强输入重建的体数据之间保持一致性。
• 通过交叉注意力机制，实现从弱增强与强增强中提取的特征之间的细粒度匹配。
• 在特征金字塔上应用分层对比学习方案，以学习尺度不变的表征。
• 采用自适应平均池化，将各尺度的特征维度统一为16×16×16，以实现一致比较。
• 主干网络训练时去除跳跃连接，以避免基于编码器特征的退化解。

Fig. 1 : Our proposed method consists of two stages: pretraining and finetuning. (a) illustrates the framework of pretraining, which aims to add consistency constraints to both weak and strong augmented data. (b) describes the method to extract multiscale features. (c) outlines our instance segmenta

实验结果

研究问题

• RQ1 在自监督预训练中强制实现多尺度一致性，是否能提升电子显微镜实例分割的性能？
• RQ2 结合体素级重建、特征匹配与对比学习，对EM体数据中的表征质量有何影响？
• RQ3 所提出方法在下游分割任务中，对标注数据的依赖程度降低到何种程度？
• RQ4 该框架在EM实例分割中，对不同主干架构（CNN与Transformer）的性能表现如何？
• RQ5 各组件（重建、交叉注意力、对比学习）对整体性能的贡献分别是什么？

主要发现

• 在CREMI数据集上，仅使用10张图像进行微调时，该方法在神经元分割任务中实现了46.8%的VOI提升。
• 使用75张微调图像时，相比基线方法，VOI提升了8.6%，展现出强大的低数据泛化能力。
• 在线粒体分割任务中，仅使用100张训练图像，该方法在小线粒体上的VOI达到35.7%，比PCRLv2高出2.8%。
• 消融实验表明，结合重建损失与交叉注意力损失可带来最高性能增益（相比基线提升49.1%的VOI）。
• 仅使用四分之一数据即可接近全量数据微调的性能，凸显其数据效率。
• 该框架在ViT与ResNet主干网络上均表现出一致的性能提升，表明其具有广泛的架构兼容性。

Fig. 2 : Visual comparisons for neuron segmentation, where colored boxes highlight the significant differences in the segmentation results.