[论文解读] Complexity of Linear Regions in Deep Networks

Boris Hanin, David Rolnick|arXiv (Cornell University)|Jan 25, 2019

Neural Networks and Applications被引用 54

一句话总结

本文建立了一个数学框架，用于计数分段线性网络（如 ReLU）中的线性区域，表明在初始化时，沿着 1D 子空间的区域平均数量与总神经元数量线性相关，且区域边界到区域边界的平均距离随神经元数量变化为 1/神经元；实验表明训练不会达到指数级的区域数量。

ABSTRACT

It is well-known that the expressivity of a neural network depends on its architecture, with deeper networks expressing more complex functions. In the case of networks that compute piecewise linear functions, such as those with ReLU activation, the number of distinct linear regions is a natural measure of expressivity. It is possible to construct networks with merely a single region, or for which the number of linear regions grows exponentially with depth; it is not clear where within this range most networks fall in practice, either before or after training. In this paper, we provide a mathematical framework to count the number of linear regions of a piecewise linear network and measure the volume of the boundaries between these regions. In particular, we prove that for networks at initialization, the average number of regions along any one-dimensional subspace grows linearly in the total number of neurons, far below the exponential upper bound. We also find that the average distance to the nearest region boundary at initialization scales like the inverse of the number of neurons. Our theory suggests that, even after training, the number of linear regions is far below exponential, an intuition that matches our empirical observations. We conclude that the practical expressivity of neural networks is likely far below that of the theoretical maximum, and that this gap can be quantified.

研究动机与目标

• 通过线性区域和区域边界来激励对分段线性网络表达能力的严格度量。
• 开发用于在初始化和训练过程中计数线性区域以及量化边界体积的数学工具。
• 证明沿1D线的平均区域数量与总神经元数量相关，而与深度无关，并将到区域边界的距离上界为1/神经元。
• 在 MNIST 上通过实证验证理论结果，并观察训练过程中的区域数量稳定性。

提出的方法

• 用分段线性激活函数建模网络，并将输入空间划分为线性区域。
• 定义梯度不连续的边界集合 B_N，并将其分解为 k 阶正则的 B_N,k 分量。
• 证明在有界集合 K 内，B_N,k 的期望 (n_in - k) 维体积随神经元数量呈现增长（定理 3）。
• 推导推论，给出沿1D线的区域数量的显式上界以及到区域边界的距离（推论4-5）。
• 进行以 He 正态初始化和 MNIST 数据为对象的实验，沿线计数区域并测量到边界的距离。
• 使用 共面积（co-area） 和基于雅可比的计算，将区域边界与神经元梯度及偏置联系起来。

实验结果

研究问题

• RQ1 在初始化时沿着1D输入线，ReLU网络平均有多少个线性区域？
• RQ2 线性区域之间的边界体积如何随网络规模和深度扩展？
• RQ3 随机输入到最近区域边界的典型距离是多少，以及它如何随神经元数量变化？
• RQ4 在真实数据（如 MNIST）上的训练过程中，这些区域性质如何演化？

主要发现

• 对于1D输入，沿线的平均线性区域数量与神经元数量成正比（随神经元线性增长，与深度无关）。
• 在初始化时到最近区域边界的平均距离随神经元数量的倒数乘以一个常数的比例变化。
• 有界输入区域上的边界体积密度与神经元数量成正比（乘以非线性函数的分割点）。
• 实验表明区域数量和到边界的距离在训练过程中基本保持不变，远低于指数极大值。
• 在 MNIST 上的经验可视化表明区域先扩张后收缩，区域数量保持接近初始化规模。