[论文解读] SPDA: Superpixel-based Data Augmentation for Biomedical Image Segmentation

Yizhe Zhang, Lin Yang+6 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Image Fusion Techniques被引用 6

一句话总结

本文提出SPDA，一种基于超像素的数据增强方法，通过在原始图像和超像素化图像上联合训练深度学习模型，提升生物医学图像分割性能。通过保留全局结构和空间关系，SPDA增强了模型的泛化能力，并在2D与3D分割任务中持续提升性能。

ABSTRACT

Supervised training a deep neural network aims to "teach" the network to mimic human visual perception that is represented by image-and-label pairs in the training data. Superpixelized (SP) images are visually perceivable to humans, but a conventionally trained deep learning model often performs poorly when working on SP images. To better mimic human visual perception, we think it is desirable for the deep learning model to be able to perceive not only raw images but also SP images. In this paper, we propose a new superpixel-based data augmentation (SPDA) method for training deep learning models for biomedical image segmentation. Our method applies a superpixel generation scheme to all the original training images to generate superpixelized images. The SP images thus obtained are then jointly used with the original training images to train a deep learning model. Our experiments of SPDA on four biomedical image datasets show that SPDA is effective and can consistently improve the performance of state-of-the-art fully convolutional networks for biomedical image segmentation in 2D and 3D images. Additional studies also demonstrate that SPDA can practically reduce the generalization gap.

研究动机与目标

• 解决深度学习模型难以模拟人类视觉感知的问题，人类可有效感知超像素化图像。
• 通过在训练中引入超像素化图像，提升全卷积网络（FCNs）在生物医学图像分割中的泛化能力与鲁棒性。
• 开发一种简单而有效的数据增强技术，与现有方法兼容，以提升分割性能。
• 证明在超像素化图像上进行训练可缩小泛化差距，并提升在多样化生物医学图像数据集上的性能。

提出的方法

• 应用SLIC超像素算法从原始训练图像中生成超像素单元，将空间上相连且视觉相似的像素分组。
• 将每个超像素内所有像素值替换为该超像素内像素的平均值，以保留全局形状与色彩结构。
• 通过将原始图像与其对应的超像素化图像结合，构建联合训练数据集，实现数据增强。
• 在组合数据集上训练全卷积网络（FCNs），使模型能够同时学习原始与超像素化表示。
• 将SPDA与标准数据增强技术（如随机裁剪、翻转、旋转、弹性形变）结合，以进一步提升性能。
• 通过在单个2D切片上应用超像素化处理，将2D FCN模型应用于高度各向异性的3D图像，避免计算成本高昂的3D超体素生成。

实验结果

研究问题

• RQ1 在超像素化图像上训练深度学习模型，是否能提升其泛化能力并更有效地模拟人类视觉感知在生物医学图像分割中的表现？
• RQ2 SPDA相较于传统数据增强方法，在多样化生物医学数据集上提升分割性能方面表现如何？
• RQ3 SPDA是否能缩小全卷积网络中训练与测试性能之间的泛化差距？
• RQ4 SPDA能否与现有数据增强技术有效结合，进一步提升分割精度？
• RQ5 SPDA在2D与3D生物医学图像分割任务中（包括高度各向异性的3D图像）是否均有效？

主要发现

• 在神经元结构数据集上，SPDA显著提升分割性能，U-Net + SPDA的$V_{Fscore}^{Rand}$达到0.9950 ± 0.0002，优于U-Net + EDDA（0.9944 ± 0.003）。
• 在腺体分割数据集上，DCN + SPDA在部分A的$F_1$分数达到0.918，在部分B达到0.860，超过当前最先进方法MILD-Net（0.914与0.844）。
• SPDA将部分B腺体数据集的物体Hausdorff距离从126.479降低至95.83，表明预测腺体与真实腺体的形状相似性显著提升。
• 统计分析证实所有改进均具有显著性，关键比较的p值均小于0.0001（如U-Net与U-Net + SPDA的对比）。
• SPDA在多种网络架构（U-Net、DCN）与数据集（神经元、腺体、视网膜、脑）上均持续提升性能，展现出广泛适用性。
• 该方法有效缩小了泛化差距，表现为测试集性能提升，且在不同随机种子下的多次运行中均保持一致性能增益。