[论文解读] How do infinite width bounded norm networks look in function space?

Pedro Savarese, Itay Evron+2 more|arXiv (Cornell University)|Feb 13, 2019

Stochastic Gradient Optimization Techniques参考文献 22被引用 15

一句话总结

本文表征了无限宽ReLU网络在有界权重范数下诱导的函数空间，表明表示单变量函数的最小范数由绝对二阶导数的积分与一阶导数总变差决定。最优逼近对应于线性样条插值，将神经网络正则化与函数空间中的自然归纳偏置联系起来。

ABSTRACT

We consider the question of what functions can be captured by ReLU networks with an unbounded number of units (infinite width), but where the overall network Euclidean norm (sum of squares of all weights in the system, except for an unregularized bias term for each unit) is bounded; or equivalently what is the minimal norm required to approximate a given function. For functions $f : \mathbb R ightarrow \mathbb R$ and a single hidden layer, we show that the minimal network norm for representing $f$ is $\max(\int |f''(x)| dx, |f'(-\infty) + f'(+\infty)|)$, and hence the minimal norm fit for a sample is given by a linear spline interpolation.

研究动机与目标

• 理解权重范数正则化在无限宽ReLU网络中诱导的归纳偏置。
• 表征在该设置下表示给定单变量函数所需的最小网络范数。
• 通过范数最小化，建立神经网络学习与线性样条插值之间的联系。
• 将单层网络的见解推广至多变量和更深的架构。
• 利用格林函数和二阶微分算子，将网络训练表述为变分问题。

提出的方法

• 作者将无限宽两层ReLU网络建模为权重向量上的测度，由单位球面上的符号测度α参数化。
• 他们推导出函数空间范数为测度α的L1范数，对应于函数二阶导数的总变差。
• 利用二阶导数算子的格林函数，他们表明最小化网络范数等价于求解具有特定核的变分问题。
• 证明最优函数类为线性样条，其最小化二阶导数的总变差与一阶导数在无穷远处的绝对和之和。
• 通过Hessian矩阵的核范数的推测推广，将分析扩展至多变量函数。
• 该框架被用于表明，在无限宽网络中，深度诱导出ℓ2/L桥接惩罚，类似于线性网络。

实验结果

研究问题

• RQ1 在有界权重范数的无限宽ReLU网络中，哪些函数类可以以任意小的范数表示？
• RQ2 最小网络范数与目标函数的光滑性及边界行为有何关系？
• RQ3 此类网络中的最优插值是否可表征为线性样条插值？
• RQ4 在范数正则化下，深度如何影响无限宽ReLU网络中的归纳偏置？
• RQ5 是否存在一个函数空间范数，对应于无限宽极限下测度α的L1范数？

主要发现

• 表示单变量函数f的最小网络范数为max(∫|f''(x)|dx, |f'(-∞) + f'(∞)|)，量化了函数的曲率与无穷远处导数变化的差异。
• 在线性范数最小化下，线性样条插值是拟合有限数据的最优解，与近期插值学习研究中观察到的归纳偏置一致。
• 无限宽有界范数ReLU网络诱导的函数空间等价于二阶导数总变差有限且一阶导数在无穷远处变差有界的函数集合。
• 与格林函数的联系表明，在范数约束下训练无限宽网络等价于求解具有二阶微分算子的变分问题。
• 对于多变量函数，作者推测最小范数对应于Hessian矩阵核范数的积分，推广了单变量结果。
• 在无限宽网络中，深度诱导出ℓ2/L桥接惩罚，表明更深的架构可在函数空间表示中诱导稀疏性，类似于线性网络。