[论文解读] DualNorm-UNet: Incorporating Global and Local Statistics for Robust Medical Image Segmentation.

Junfei Xiao, Lequan Yu+3 more|arXiv (Cornell University)|Mar 29, 2021

Advanced Neural Network Applications参考文献 32被引用 9

一句话总结

该论文提出DualNorm-UNet，一种新颖的归一化方法，通过可学习的语义掩码将全局批次级统计量与局部类别级区域统计量相结合，以提升医学图像分割性能。通过自适应地按语义类别调节激活值，该方法增强了特征可分性和域泛化能力，在多种医学影像数据集上实现了最先进性能。

ABSTRACT

Batch Normalization (BN) is one of the key components for accelerating network training, and has been widely adopted in the medical image analysis field. However, BN only calculates the global statistics at the batch level, and applies the same affine transformation uniformly across all spatial coordinates, which would suppress the image contrast of different semantic structures. In this paper, we propose to incorporate the semantic class information into normalization layers, so that the activations corresponding to different regions (i.e., classes) can be modulated differently. We thus develop a novel DualNorm-UNet, to concurrently incorporate both global image-level statistics and local region-wise statistics for network normalization. Specifically, the local statistics are integrated by adaptively modulating the activations along different class regions via the learned semantic masks in the normalization layer. Compared with existing methods, our approach exploits semantic knowledge at normalization and yields more discriminative features for robust segmentation results. More importantly, our network demonstrates superior abilities in capturing domain-invariant information from multiple domains (institutions) of medical data. Extensive experiments show that our proposed DualNorm-UNet consistently improves the performance on various segmentation tasks, even in the face of more complex and variable data distributions. Code is available at this https URL.

研究动机与目标

• 解决批归一化在抑制医学图像中不同语义结构间对比度方面的局限性。
• 通过将语义类别信息引入归一化层，提升特征可分性。
• 提升模型在不同机构间数据分布差异下的鲁棒性。
• 开发一种能够适应局部区域统计量同时保留全局批次级统计量的归一化机制。
• 在复杂且多变的数据分布下实现卓越的分割性能。

提出的方法

• 提出DualNorm，一种将全局批次统计量与从学习得到的语义掩码导出的局部区域统计量相结合的归一化层。
• 基于预测的语义掩码自适应调制激活值，实现按类别区域不同的归一化。
• 将双重统计量整合至UNet架构中，以保持空间上下文与分割精度。
• 利用类别感知统计量调制特征图，增强不同解剖结构的表征学习能力。
• 采用可学习的掩码头预测对应语义类别的空间区域，实现局部化归一化。
• 通过将归一化直接集成到网络的残差块中，保持计算效率。

实验结果

研究问题

• RQ1 将语义类别信息引入归一化层是否能提升医学图像分割中的特征可分性？
• RQ2 在归一化中结合全局与局部统计量如何影响模型在多个医学影像领域中的泛化能力？
• RQ3 在复杂数据分布下，所提出方法是否优于标准批归一化及其他归一化变体？
• RQ4 当在具有领域偏移的多个机构数据上进行训练时，模型在多大程度上保持鲁棒性？
• RQ5 局部区域级统计量是否能增强不同解剖结构的对比度保持能力？

主要发现

• DualNorm-UNet在多个医学图像分割基准上实现了最先进性能，即使在复杂且多变的数据分布下亦然。
• 通过类别感知归一化，该方法显著提升了分割精度，有效保留了不同语义结构间的对比度。
• 与标准批归一化相比，引入局部区域级统计量可生成更具可分性的特征表示。
• 模型展现出卓越的域泛化能力，在具有不同数据分布的多个机构中均保持高性能。
• 大量消融实验确认，全局与局部统计量对性能提升均有独特贡献。
• 所提出方法能很好地泛化至未见领域，表明其对分布偏移具有强鲁棒性。