[论文解读] How Can CNNs Use Image Position for Segmentation?

Rito Murase, Masanori Suganuma+1 more|arXiv (Cornell University)|May 7, 2020

Advanced Neural Network Applications参考文献 20被引用 12

一句话总结

本文研究了卷积神经网络（CNNs）在医学图像分割中如何利用图像的绝对位置，对比了显式注入坐标信息的定位编码（PE）与多种填充方法。结果表明，PE能显著提升对图像退化的鲁棒性，但在未退化图像上收益甚微，暗示绝对位置的重要性低于直觉预期——尤其在训练数据充足且模型容量足够时。

ABSTRACT

Convolution is an equivariant operation, and image position does not affect its result. A recent study shows that the zero-padding employed in convolutional layers of CNNs provides position information to the CNNs. The study further claims that the position information enables accurate inference for several tasks, such as object recognition, segmentation, etc. However, there is a technical issue with the design of the experiments of the study, and thus the correctness of the claim is yet to be verified. Moreover, the absolute image position may not be essential for the segmentation of natural images, in which target objects will appear at any image position. In this study, we investigate how positional information is and can be utilized for segmentation tasks. Toward this end, we consider {\em positional encoding} (PE) that adds channels embedding image position to the input images and compare PE with several padding methods. Considering the above nature of natural images, we choose medical image segmentation tasks, in which the absolute position appears to be relatively important, as the same organs (of different patients) are captured in similar sizes and positions. We draw a mixed conclusion from the experimental results; the positional encoding certainly works in some cases, but the absolute image position may not be so important for segmentation tasks as we think.

研究动机与目标

• 探究CNN是否以及如何在分割任务中利用绝对图像位置，特别是在位置可能更为关键的医学影像领域。
• 评估显式定位编码（PE）相较于零填充等隐式位置线索的填充策略的有效性。
• 评估在不同强度PE下，鲁棒性与干净数据性能之间的权衡。
• 确定在领域偏移或数据分布偏移下，绝对位置是否真正对准确分割至关重要。

提出的方法

• 通过在输入图像中增加两个通道来引入定位编码（PE），分别编码每个像素的x和y坐标值，并归一化至[0, λ]。
• 通过缩放因子λ控制位置与像素强度的相对重要性，从而调节输入张量中坐标通道的贡献。
• 在JSRT和ACDC两个医学图像分割数据集上，训练U-Net和小型CNN模型，对比是否使用PE的性能表现。
• 在标准测试集和合成退化版本上评估模型，以模拟真实世界中的领域偏移并评估鲁棒性。
• 将PE与多种填充方法（零填充、反射填充）进行对比，分析其在传递位置信息方面的隐式作用。
• 使用Dice系数作为主要指标，量化不同设置和退化水平下的分割性能。

实验结果

研究问题

• RQ1 与标准填充方法相比，显式定位编码是否能提升分割准确率和对图像退化的鲁棒性？
• RQ2 定位编码的强度（由λ控制）如何影响干净图像性能与退化鲁棒性之间的权衡？
• RQ3 当训练数据足够时，CNN在多大程度上实际依赖绝对图像位置进行分割？
• RQ4 使用绝对位置信息是否是一把双刃剑，导致空间不变性降低，并在输入发生偏移时损害性能？
• RQ5 不同填充策略如何隐式传递位置信息？与显式PE相比，其在性能和鲁棒性方面表现如何？

主要发现

• 定位编码（PE）显著提升了对图像退化的鲁棒性，λ值越高，对更大程度退化的抗性越强，但代价是干净图像上性能略有下降。
• 在干净图像上，PE对U-Net模型的影响极小甚至略微为负，表明当训练数据和模型容量充足时，这些模型并不依赖绝对位置。
• 在小数据集上，使用小CNN的PE带来正向性能增益，表明PE在低数据场景下通过提供归纳偏置有助于模型表现。
• 当输入发生空间偏移时，未使用PE训练的模型优于使用PE的模型，表明PE可能降低空间不变性，并在偏移扰动下损害泛化能力。
• 零填充提供的位置信息优于反射填充，这从基线模型在退化情况下的更好鲁棒性中得到验证。
• 引入PE后，不同填充方法在退化条件下的性能差异被消除，表明PE已超越填充方式所提供的隐式位置线索。