[论文解读] Advanced Deep Networks for 3D Mitochondria Instance Segmentation

Mingxing Li, Chang Chen+4 more|arXiv (Cornell University)|Apr 16, 2021

Metabolomics and Mass Spectrometry Studies被引用 5

一句话总结

本文提出Res-UNet-R和Res-UNet-H两种先进的基于3D U-Net的深度神经网络，用于电子显微镜中的线粒体实例分割，采用各向异性卷积模块和多尺度训练策略以提升性能。该方法在ISBI 2021年大规模3D线粒体实例分割挑战赛中获得第一名，其在大鼠和人类数据集上的平均AP-75达到0.840，通过去噪预处理进一步增强了模型的泛化能力。

ABSTRACT

Mitochondria instance segmentation from electron microscopy (EM) images has seen notable progress since the introduction of deep learning methods. In this paper, we propose two advanced deep networks, named Res-UNet-R and Res-UNet-H, for 3D mitochondria instance segmentation from Rat and Human samples. Specifically, we design a simple yet effective anisotropic convolution block and deploy a multi-scale training strategy, which together boost the segmentation performance. Moreover, we enhance the generalizability of the trained models on the test set by adding a denoising operation as pre-processing. In the Large-scale 3D Mitochondria Instance Segmentation Challenge at ISBI 2021, our method ranks the 1st place. Code is available at https://github.com/Limingxing00/MitoEM2021-Challenge.

研究动机与目标

• 为解决在高分辨率电子显微镜数据中实现准确3D线粒体实例分割的挑战，该任务对人工标注而言计算成本过高。
• 提升在大鼠和人类EM数据集上的分割性能，这两类数据在噪声水平和结构复杂度上存在显著差异。
• 通过使用插值网络进行去噪预处理，提升模型在噪声测试数据上的泛化能力。
• 开发一种轻量化但高效的网络架构，在实例分割基准测试中超越现有方法。
• 验证各向异性卷积和多尺度训练在处理各向异性3D EM数据中的有效性。

提出的方法

• 提出两种专用的深度残差网络：Res-UNet-R用于大鼠样本，Res-UNet-H用于人类样本，其解码器架构不同，以适应图像质量的差异。
• 引入各向异性卷积模块（ACB），采用1×3×3初始卷积，随后接两个3×3×3卷积，并使用跳跃连接，以更好地捕捉EM数据中的各向异性感受野。
• 采用多尺度训练（MT）策略，以扩大有效感受野并减少过拟合，尤其对结构复杂的高阶人类样本有益。
• 使用加权二元交叉熵（WBCE）损失函数以解决类别不平衡问题，通过基于前景比例的加权策略，提升对稀疏线粒体的学习效果。
• 通过插值网络进行去噪预处理，以恢复人类EM数据中的噪声区域，提升模型在测试集上的鲁棒性。
• 通过种子图生成和连通组件标记进行后处理，从预测的语义图和边界图生成最终的实例掩码。

Fig. 1 : Network structure of Res-UNet-H. Note the decoder of Res-UNet-R has only one path to generate the semantic mask and the instance boundary simultaneously.

实验结果

研究问题

• RQ1 轻量化、任务特定的深度网络架构是否能在噪声较多的EM数据上，优于通用的U-Net变体，在3D线粒体实例分割中表现更优？
• RQ2 使用各向异性卷积模块是否能通过更好地建模EM图像的各向异性分辨率，提升分割精度？
• RQ3 多尺度训练策略是否能增强3D线粒体实例分割的泛化能力并减少过拟合？
• RQ4 使用去噪网络进行预处理在多大程度上能提升模型在噪声较多的人类EM样本上的性能？
• RQ5 Res-UNet-R与Res-UNet-H在架构上的差异在多大程度上影响其在大鼠与人类数据集上的性能表现？

主要发现

• 所提方法在ISBI 2021挑战赛排行榜上取得了最高的75% IoU平均精度（AP-75）0.840，优于所有其他参赛者。
• Res-UNet-H采用双解码器路径，在人类数据集上取得AP-75为0.816，相较于直接应用于人类数据的Res-UNet-R（0.783）提升了3.3%。
• 多尺度训练策略使Res-UNet-H的AP-75提升了1.2%，证明其在扩大感受野和减少过拟合方面的有效性。
• 各向异性卷积模块（ACB）优于更复杂的模块单位（如3D SE、ECA和残差块），在完整测试集上达到0.913的AP-75，且过拟合更少。
• 去噪预处理提升了泛化能力，使人类测试集的AP-75从0.828提升至0.829，大鼠集从0.850提升至0.851。
• 在验证集上的可视化结果表明，预测结果与真实标签高度一致，尤其在重叠或细长线粒体等复杂区域表现优异。

Fig. 2 : Visualized results on the MitoEM validation set.