[论文解读] Learned Deformation Stability in Convolutional Neural Networks.

Avraham Ruderman, Neil C. Rabinowitz+2 more|arXiv (Cornell University)|Apr 12, 2018

Advanced Neural Network Applications参考文献 14被引用 10

一句话总结

本文挑战了卷积神经网络（CNNs）中关于交错池化对变形稳定性必不可少的长期假设。通过严格的实验测试，研究发现变形不变性并非二元性质，而是因任务和层而异，其稳定性在训练过程中通过滤波器平滑度动态调整，且池化实际上过度稳定了网络——迫使网络学习以抵消其归纳偏置。研究揭示，变形稳定性是通过训练自然涌现的，而非由网络结构设计决定。

ABSTRACT

Many of our core assumptions about how neural networks operate remain empirically untested. One common assumption is that convolutional neural networks need to be stable to small translations and deformations to solve image recognition tasks. For many years, this stability was baked into CNN architectures by incorporating interleaved pooling layers. Recently, however, interleaved pooling has largely been abandoned. This raises a number of questions: Are our intuitions about deformation stability right at all? Is it important? Is pooling necessary for deformation invariance? If not, how is deformation invariance achieved in its absence? In this work, we rigorously test these questions, and find that deformation stability in convolutional networks is more nuanced than it first appears: (1) Deformation invariance is not a binary property, but rather that different tasks require different degrees of deformation stability at different layers. (2) Deformation stability is not a fixed property of a network and is heavily adjusted over the course of training, largely through the smoothness of the convolutional filters. (3) Interleaved pooling layers are neither necessary nor sufficient for achieving the optimal form of deformation stability for natural image classification. (4) Pooling confers too much deformation stability for image classification at initialization, and during training, networks have to learn to counteract this inductive bias. Together, these findings provide new insights into the role of interleaved pooling and deformation invariance in CNNs, and demonstrate the importance of rigorous empirical testing of even our most basic assumptions about the working of neural networks.

研究动机与目标

• 测试卷积神经网络（CNNs）中图像识别对变形稳定性必不可少的广泛假设。
• 研究交错池化是否为实现变形不变性所必需。
• 理解在无池化的现代CNN中，变形稳定性如何在训练过程中演变。
• 确定变形稳定性是固定的结构属性，还是可学习的、动态的特性。
• 评估池化对初始变形稳定性的影响及其对训练的启示。

提出的方法

• 作者在标准图像分类基准上训练了多个带有和不带交错池化的CNN架构。
• 通过对手动扰动的输入图像进行控制测试，评估不同层的变形稳定性。
• 将学习到的卷积滤波器的平滑度作为变形稳定性的代理指标。
• 追踪训练过程中变形不变性的变化，以观察动态适应过程。
• 比较初始化时带有和不带池化的网络，以评估池化引入的归纳偏置。
• 使用基于梯度的分析，研究滤波器权重如何调整以抵消池化带来的过度稳定性。

实验结果

研究问题

• RQ1 变形不变性是否为二元属性，还是在CNN中因任务和层而异？
• RQ2 交错池化是否为实现图像分类中最佳变形稳定性的必要或充分条件？
• RQ3 在无池化的现代CNN中，变形稳定性在训练过程中如何演变？
• RQ4 池化是否引入了过度稳定的归纳偏置，迫使网络在训练中学习去抵消它？
• RQ5 变形稳定性在多大程度上是通过滤波器平滑度学习得到的，而非由网络结构设计决定？

主要发现

• 变形不变性并非二元属性，而是在不同任务和层之间以不同程度存在，不同深度具有不同的需求。
• 变形稳定性并非固定不变，而是在训练过程中通过卷积滤波器的平滑度动态调整。
• 交错池化在图像分类中既非必要也非充分条件，无法实现最佳变形稳定性。
• 池化在初始化时引入了过度的变形稳定性，迫使网络在训练过程中学习去抵消这种归纳偏置。
• 变形稳定性的出现是一种通过滤波器平滑度驱动的可学习现象，而非池化等结构组件的直接结果。
• 通过滤波器自适应学习任务特定的变形不变性，无池化训练的网络实现了相当或更优的泛化性能。