[论文解读] An Exponential Improvement on the Memorization Capacity of Deep Threshold Networks

Shashank Rajput, Kartik K. Sreenivasan+2 more|arXiv (Cornell University)|Jun 14, 2021

Stochastic Gradient Optimization Techniques参考文献 24被引用 9

一句话总结

本文提出了一种新型深度阈值神经网络构造方法，通过将对最小点间距离 δ 的依赖从指数级降低至近线性，实现了记忆容量的指数级提升。通过仅在第一层使用高斯权重，后续层使用二值/整数权重，该方法实现了 Õ(1/δ + √n) 个神经元和 Õ(d/δ + n) 根权重，显著优于先前工作所要求的对 δ 的指数依赖。

ABSTRACT

It is well known that modern deep neural networks are powerful enough to memorize datasets even when the labels have been randomized. Recently, Vershynin (2020) settled a long standing question by Baum (1988), proving that \emph{deep threshold} networks can memorize $n$ points in $d$ dimensions using $\widetilde{\mathcal{O}}(e^{1/δ^2}+\sqrt{n})$ neurons and $\widetilde{\mathcal{O}}(e^{1/δ^2}(d+\sqrt{n})+n)$ weights, where $δ$ is the minimum distance between the points. In this work, we improve the dependence on $δ$ from exponential to almost linear, proving that $\widetilde{\mathcal{O}}(\frac{1}δ+\sqrt{n})$ neurons and $\widetilde{\mathcal{O}}(\frac{d}δ+n)$ weights are sufficient. Our construction uses Gaussian random weights only in the first layer, while all the subsequent layers use binary or integer weights. We also prove new lower bounds by connecting memorization in neural networks to the purely geometric problem of separating $n$ points on a sphere using hyperplanes.

研究动机与目标

• 解决 Baum（1988）提出的一个开放问题：深度阈值网络是否能实现 O(√n) 个神经元来完成记忆任务。
• 降低记忆容量中对 δ（最小点间距离）的指数依赖，这是先前工作（如 Vershynin，2020）中的一个局限。
• 消除数据点必须位于单位球面上的限制性假设，转而仅要求 ℓ² 范数有界。
• 在 δ 分离条件下，建立对记忆所需神经元数和权重数的更紧致上下界。

提出的方法

• 构建一个深度阈值网络，其中仅第一层使用独立同分布的高斯权重，而所有更深的层使用有界整数权重。
• 利用第一层将 d 维空间中 n 个 δ 分离的点投影到更高维空间，使其变为线性可分。
• 利用几何性质：球面上 δ 分离的点可用超平面分离，并将该性质推广至有界范数的点。
• 应用概率论论证及覆盖/打包界限，证明大小为 Õ(n + log log |Cδ/2|) 的假设类足以实现记忆。
• 通过对所有可能的 n 点子集及其标签组合使用并集界，确保存在一个网络可记忆任意标签。
• 通过将记忆问题与球面上点的超平面分离问题关联，证明下界：记忆至少需要 Ω(n) 位，且由于 δ 分离，还需 Ω(log log |Pδ|) 位。

实验结果

研究问题

• RQ1 能否将深度阈值网络记忆容量中对 δ 的指数依赖改进为近线性？
• RQ2 是否可能在不强制要求点位于球面上的情况下，实现 O(√n) 个神经元的记忆？
• RQ3 仅在第一层使用高斯权重、深层使用整数权重的深度阈值网络，能否实现最优记忆容量？
• RQ4 在 δ 分离条件下，记忆所需的神经元数和权重数的根本信息论极限是什么？

主要发现

• 本文证明，Õ(1/δ + √n) 个神经元和 Õ(d/δ + n) 根权重足以记忆 d 维空间中任意大小为 n 的 δ 分离数据集。
• 对 δ 的依赖从指数级（e^{1/δ²}）降低至近线性（1/δ），实现了显著的定量改进。
• 该构造仅要求第一层使用实值高斯权重；所有深层均使用有界整数权重，简化了硬件实现与训练流程。
• 该方法消除了点必须位于球面上的要求，仅需 ℓ² 范数有界，从而扩大了适用范围。
• 提出的新下界表明，记忆至少需要 Ω(n) 位，且由于 δ 分离，还需 Ω(log log |Pδ|) 位，与信息论极限一致。
• 网络深度为 O(log(log n)/δ) 层，第一层包含 Õ(log n / δ) 个神经元和 Õ(d log n / δ) 根权重。