[论文解读] Memory capacity of neural networks with threshold and ReLU activations

Roman Vershynin|arXiv (Cornell University)|Jan 20, 2020

Neural Networks and Applications参考文献 25被引用 13

一句话总结

该论文通过利用稀疏性的概率构造方法，解决了1988年提出的开放性问题，证明了当连接数超过K时，具有阈值或ReLU激活函数的一般多层前馈神经网络可以记忆任意大小为K的数据集。关键贡献在于为混合架构提供了记忆容量的通用证明，扩展了先前关于Sigmoid和ReLU网络的研究结果。

ABSTRACT

Overwhelming theoretical and empirical evidence shows that mildly overparametrized neural networks -- those with more connections than the size of the training data -- are often able to memorize the training data with $100\%$ accuracy. This was rigorously proved for networks with sigmoid activation functions and, very recently, for ReLU activations. Addressing a 1988 open question of Baum, we prove that this phenomenon holds for general multilayered perceptrons, i.e. neural networks with threshold activation functions, or with any mix of threshold and ReLU activations. Our construction is probabilistic and exploits sparsity.

研究动机与目标

• 解决Baum（1988）提出的关于具有阈值激活函数的神经网络记忆容量的长期开放性问题。
• 为具有混合阈值和ReLU激活函数的多层感知机建立记忆能力的一般理论基础。
• 将先前关于Sigmoid和ReLU激活函数网络中记忆能力的研究结果扩展至包含阈值函数和混合架构的情形。
• 提供一种概率构造方法，证明即使输出层使用阈值激活函数，通过适度过参数化也能实现记忆能力。

提出的方法

• 使用概率构造方法证明：当神经网络的连接数超过训练样本数时，其以高概率能够记忆数据。
• 应用稀疏性技术，降低记忆所需权重和偏置配置的复杂度。
• 利用标准正态分布的Mills比率和尾部概率的渐近分析，对ReLU和阈值函数的期望进行上界估计。
• 利用随机变量$(\gamma - a)_+$的矩估计，其中$\gamma \sim N(0,1)$，推导其一阶和二阶矩在$a \to \infty$时的渐近展开式。
• 利用稳定性引理比较在缩放正态变量下的期望，揭示矩随方差变化的缩放规律。
• 应用高斯积分的单调性性质，支持证明记忆容量时的主要概率论论证。

实验结果

研究问题

• RQ1 当过参数化时，具有阈值激活函数的多层感知机是否能够记忆任意有限数据集？
• RQ2 ReLU网络的记忆容量是否可扩展至包含混合阈值与ReLU激活函数的网络？
• RQ3 神经网络记忆大小为K的数据集所需的最小过参数化程度是多少？
• RQ4 概率构造如何确保网络能够拟合K个数据点上的任意标签？

主要发现

• 本文证明，只要连接数超过K，任何具有阈值或ReLU激活函数的多层前馈神经网络均可记忆K个数据点。
• 利用Mills比率的渐近展开式，推导出标准正态分布的精确尾部概率上界，这是矩估计的基础。
• 当$a$较大时，$(\gamma - a)_+$的期望值渐近表示为$\frac{1}{\sqrt{2\pi}} e^{-a^2/2} (a^{-2} + O(a^{-4}))$，其二阶矩为$\frac{1}{\sqrt{2\pi}} e^{-a^2/2} (2a^{-3} + O(a^{-5}))$。
• 稳定性引理表明，将ReLU输入缩放$\sqrt{1+z}$会使期望ReLU输出按因子$\exp\left(\frac{a^2 z}{2(1+z)}\right) (1+z) (1 + O(a^{-2}))$缩放。
• 单调性引理证实，对于满足$\psi(t) = 0$（当$t < 0$）的非减函数$\psi$，映射$\sigma \mapsto \mathbb{E}[\psi(\sigma \gamma)]$是非减的，从而支持主要的概率论论证。
• 主要结果通过建立具有阈值和ReLU激活函数的一般多层感知机的记忆容量，解决了Baum于1988年提出的开放性问题。