[论文解读] Dead Pixel Test Using Effective Receptive Field

Bum Jun Kim, Hyeyeon Choi+4 more|arXiv (Cornell University)|Aug 31, 2021

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文研究了卷积神经网络（CNN）中的有效感受野（ERF），并揭示了较大的理论感受野并不能保证性能更优。研究发现，由于奇数尺寸卷积核配合步长为2的结构失衡，导致部分空间位置（即'死像素'）对输出的贡献极小；为此提出卷积核填充方法以减轻像素敏感度的不平衡。关键发现是：尽管这种不平衡有助于提升一般分类性能，却会妨碍对小图像扰动的检测，因此在需要细粒度敏感度的任务中，卷积核填充至关重要。

ABSTRACT

Deep neural networks have been used in various fields, but their internal behavior is not well known. In this study, we discuss two counterintuitive behaviors of convolutional neural networks (CNNs). First, we evaluated the size of the receptive field. Previous studies have attempted to increase or control the size of the receptive field. However, we observed that the size of the receptive field does not describe the classification accuracy. The size of the receptive field would be inappropriate for representing superiority in performance because it reflects only depth or kernel size and does not reflect other factors such as width or cardinality. Second, using the effective receptive field, we examined the pixels contributing to the output. Intuitively, each pixel is expected to equally contribute to the final output. However, we found that there exist pixels in a partially dead state with little contribution to the output. We reveal that the reason for this lies in the architecture of CNN and discuss solutions to reduce the phenomenon. Interestingly, for general classification tasks, the existence of dead pixels improves the training of CNNs. However, in a task that captures small perturbation, dead pixels degrade the performance. Therefore, the existence of these dead pixels should be understood and considered in practical applications of CNN.

研究动机与目标

• 挑战'更大的感受野能提升CNN性能'这一假设。
• 探究为何某些像素尽管位于理论感受野范围内，却对最终输出的贡献极小。
• 识别现代CNN（如ResNet）中像素敏感度不平衡的结构成因。
• 评估像素敏感度不平衡对需要检测小图像扰动的任务的影响。
• 提出并验证卷积核填充作为减少敏感度不平衡、提升细粒度视觉任务性能的解决方案。

提出的方法

• 通过从最终特征图反向传播梯度计算有效感受野（ERF），并对通道取平均，以分离出空间贡献。
• 将ERF可视化为二维高斯分布，揭示输入像素对输出的影响在空间上分布不均。
• 通过测量输入像素间梯度幅值的方差来量化像素敏感度不平衡，方差越大表示不平衡越明显。
• 引入卷积核填充以改变特征的空间映射方式，减少相邻像素间贡献差异。
• 设计了一个微物体分类任务，通过随机添加8×8的黑色或红色小块来测试对小扰动的敏感度。
• 实验对比了在ResNet-101、Wide-ResNet-101-2和ResNeXt-101-32x8d上，使用与不使用卷积核填充的模型在训练曲线和收敛速度（以达到90%准确率所需的训练轮数为指标）上的表现。

Figure 1: Effective receptive fields were obtained for ResNeXt-101-32x8d. (Left) Effective receptive field of the $7\times 7$ feature map. (Middle) Effective receptive field of the $14\times 14$ feature map. (Right) Effective receptive field of the output. The top row is the effective receptive fiel

实验结果

研究问题

• RQ1 理论感受野的大小是否与现代CNN中的分类准确率相关？
• RQ2 为何感受野内某些像素对输出的贡献远低于其他像素，尽管它们在空间上相邻？
• RQ3 在使用奇数尺寸卷积核且步长为2的CNN中，导致像素敏感度不平衡的结构因素是什么？
• RQ4 像素敏感度不平衡对需要检测小图像扰动的任务是有利还是有害？
• RQ5 卷积核填充能否有效减少像素敏感度不平衡，并提升细粒度分类任务的训练收敛速度？

主要发现

• 理论感受野大小与分类准确率无相关性；网络更深并不意味着有效感受野更大。
• 即使随着网络深度增加，有效感受野也会在某一尺寸达到饱和，表明仅增加深度的收益递减。
• ResNets中存在像素敏感度不平衡，相邻像素对输出的贡献差异显著，原因在于奇数尺寸卷积核配合步长为2的结构。
• 卷积核填充可减少像素敏感度不平衡，表现为微物体分类任务中收敛时间缩短13至18个训练轮。
• 采用卷积核填充的模型在捕捉小扰动差异方面测试准确率超过99%，而基线模型则需要显著更多的训练轮数。
• 在微物体分类任务中，卷积核填充能实现更快且更可靠的扰动幅度差异检测，尤其在扰动位置和幅度随机变化时表现更优。

Figure 2: When an odd-sized kernel is applied with stride 2, a checkboard pattern appears.