[论文解读] Deep Networks and the Multiple Manifold Problem

Sam Buchanan, Dar Gilboa+1 more|arXiv (Cornell University)|Aug 25, 2020

Medical Imaging and Analysis被引用 4

一句话总结

该论文研究了在单位球面上两个低维流形上的二分类问题中，全连接ReLU网络的深度学习泛化性能。证明了在足够深和足够宽的情况下，随机初始化的梯度下降能以高概率快速学习到完美分离，建立了网络深度（作为拟合资源）与宽度（作为统计资源）之间的可证明权衡，方法是利用鞅不等式进行非渐近神经正切核浓度分析。

ABSTRACT

We study the multiple manifold problem, a binary classification task modeled on applications in machine vision, in which a deep fully-connected neural network is trained to separate two low-dimensional submanifolds of the unit sphere. We provide an analysis of the one-dimensional case, proving for a simple manifold configuration that when the network depth $L$ is large relative to certain geometric and statistical properties of the data, the network width $n$ grows as a sufficiently large polynomial in $L$, and the number of i.i.d. samples from the manifolds is polynomial in $L$, randomly-initialized gradient descent rapidly learns to classify the two manifolds perfectly with high probability. Our analysis demonstrates concrete benefits of depth and width in the context of a practically-motivated model problem: the depth acts as a fitting resource, with larger depths corresponding to smoother networks that can more readily separate the class manifolds, and the width acts as a statistical resource, enabling concentration of the randomly-initialized network and its gradients. The argument centers around the neural tangent kernel and its role in the nonasymptotic analysis of training overparameterized neural networks; to this literature, we contribute essentially optimal rates of concentration for the neural tangent kernel of deep fully-connected networks, requiring width $n \gtrsim L\,\mathrm{poly}(d_0)$ to achieve uniform concentration of the initial kernel over a $d_0$-dimensional submanifold of the unit sphere $\mathbb{S}^{n_0-1}$, and a nonasymptotic framework for establishing generalization of networks trained in the NTK regime with structured data. The proof makes heavy use of martingale concentration to optimally treat statistical dependencies across layers of the initial random network. This approach should be of use in establishing similar results for other network architectures.

研究动机与目标

• 将多流形问题形式化为深度学习中结构化数据的严格模型。
• 分析网络深度与宽度在低维流形上二分类泛化中的作用。
• 在过参数化设置下，为随机初始化的梯度下降建立可证明的收敛与泛化保证。
• 为具有结构化几何数据的NTK区域建立非渐近泛化框架。
• 证明深度在流形分离中充当拟合资源，而宽度充当统计资源。

提出的方法

• 分析单位球面 Sn0−1 上两个不相交子流形的二分类任务。
• 使用神经正切核（NTK）研究过参数化深度ReLU网络中的泛化性能。
• 应用鞅浓度不等式处理随机网络初始化中各层之间的统计依赖性。
• 推导出在 d0 维子流形上 NTK 的基本最优浓度速率，要求宽度 n ≥ L · poly(d0)。
• 构建一个确定性积分方程以证明网络泛化，其解的存在性与几何参数相关。
• 采用非渐近分析，建立样本复杂度独立于数据规模、仅依赖于问题难度的泛化保证。

实验结果

研究问题

• RQ1 在深度、宽度和训练样本满足何种条件时，梯度下降能可证明地分离球面上的两个低维流形？
• RQ2 在具有结构化数据的过参数化ReLU网络中，深度与宽度如何独立地促进泛化？
• RQ3 神经正切核能否在结构化子流形上实现一致集中？实现这一目标所需的宽度是多少？
• RQ4 当数据位于具有曲率和分离度的流形上时，NTK区域中的泛化样本复杂度是多少？
• RQ5 网络的泛化能力是否依赖于曲率和流形间距离等几何属性？

主要发现

• 当 d0 = 1 时，若深度 L ≥ poly(κ, Cρ, log(n0))，宽度 n ≥ poly(L, log(Ln0))，且样本数 N ≥ poly(L)，梯度下降能以高概率实现完美泛化。
• 所需宽度随 L 和 log(Ln0) 呈多项式增长，显式依赖于流形的曲率和数据密度。
• 当 L ≳ ∆−1 时，图3中的配置存在一个可验证解，从而保证泛化性能。
• 当宽度 n ≥ L · poly(d0) 时，神经正切核在子流形上实现一致集中，确保训练动力学稳定。
• 样本复杂度为 L 的多项式，且仅依赖于几何参数，与样本数量无关。
• 鞅浓度技术可实现 NTK 浓度的最优界，从而支持对泛化的非渐近分析。