[论文解读] Inductive Bias of Deep Convolutional Networks through Pooling Geometry

Nadav Cohen, Amnon Shashua|arXiv (Cornell University)|May 22, 2016

Advanced Neural Network Applications参考文献 17被引用 44

一句话总结

本文通过池化几何结构揭示了深度卷积网络的归纳偏置，表明连续的池化窗口倾向于选择交错的输入划分，从而实现对自然图像中强相关性的指数级高分离秩。其核心贡献在于形式化了池化几何如何塑造网络捕捉有意义空间相关性的能力，解释了为何标准架构在视觉任务中能实现良好泛化。

ABSTRACT

Our formal understanding of the inductive bias that drives the success of convolutional networks on computer vision tasks is limited. In particular, it is unclear what makes hypotheses spaces born from convolution and pooling operations so suitable for natural images. In this paper we study the ability of convolutional networks to model correlations among regions of their input. We theoretically analyze convolutional arithmetic circuits, and empirically validate our findings on other types of convolutional networks as well. Correlations are formalized through the notion of separation rank, which for a given partition of the input, measures how far a function is from being separable. We show that a polynomially sized deep network supports exponentially high separation ranks for certain input partitions, while being limited to polynomial separation ranks for others. The network's pooling geometry effectively determines which input partitions are favored, thus serves as a means for controlling the inductive bias. Contiguous pooling windows as commonly employed in practice favor interleaved partitions over coarse ones, orienting the inductive bias towards the statistics of natural images. Other pooling schemes lead to different preferences, and this allows tailoring the network to data that departs from the usual domain of natural imagery. In addition to analyzing deep networks, we show that shallow ones support only linear separation ranks, and by this gain insight into the benefit of functions brought forth by depth - they are able to efficiently model strong correlation under favored partitions of the input.

研究动机与目标

• 理解尽管对卷积网络的归纳偏置理论理解有限，为何其在自然图像任务上泛化能力如此之强。
• 分析深度网络中池化几何如何影响其对输入数据空间区域之间相关性的建模能力。
• 使用分离秩作为输入划分间相关性强弱的度量，形式化卷积网络的归纳偏置。
• 证明由于池化几何结构，深度网络可对特定划分（尤其是交错划分）实现指数级高的分离秩。
• 与浅层网络对比，表明深度使得在有利输入划分下高效建模强相关性成为可能。

提出的方法

• 使用分离秩作为不相交输入划分之间相关性的正式度量，量化函数与可分性的偏离程度。
• 分析具有线性激活和乘积池化的卷积算术电路，推导分离秩的理论边界。
• 证明深度网络可对交错划分（如交替的空间区域）实现指数级高的分离秩，而对粗糙划分则受限于多项式或线性秩。
• 表明连续池化窗口（实践中常见）自然偏好交错划分，使归纳偏置与自然图像的统计结构相一致。
• 将分离秩边界转化为与可分函数的归一化L²距离，提供一种等价但更具可解释性的相关性建模度量。
• 通过卷积算术电路和ReLU网络（使用最大池化或平均池化）的实证验证，确认池化几何在塑造归纳偏置中的作用。

实验结果

研究问题

• RQ1 深度卷积网络中的池化几何如何影响其对输入图像空间区域之间相关性的建模能力？
• RQ2 为何标准卷积网络在使用连续池化窗口时，尽管理论理解有限，仍能在自然图像上实现良好泛化？
• RQ3 网络深度、池化结构与学习函数的分离秩之间存在何种关系？
• RQ4 深度网络与浅层网络在建模空间相关性方面的归纳偏置有何不同？
• RQ5 池化几何是否可用于为偏离自然图像分布的数据分布量身定制网络？

主要发现

• 使用连续池化窗口的深度卷积网络对交错输入划分可实现指数级高的分离秩，从而高效建模强空间相关性。
• 浅层网络的分离秩上限为线性，表明深度对于高效表示复杂相关性至关重要。
• 池化几何决定了哪些输入划分被偏好——连续池化偏好交错划分，与自然图像的统计结构一致。
• 卷积算术电路在几乎所有权重配置下（除零测度集合外）几乎必然实现最大分离秩，表明归纳偏置具有鲁棒性。
• 实证结果证实，理论上的分离秩行为在实践中成立，即使在使用最大池化或平均池化的ReLU网络中亦然。
• 与可分函数的归一化L²距离是分离秩的等价度量，尽管其在假设空间中的分布仍复杂且非平凡。