[论文解读] Empirical Risk Minimization in the Interpolating Regime with Application to Neural Network Learning

Nicole Mücke, Ingo Steinwart|arXiv (Cornell University)|May 25, 2019

Model Reduction and Neural Networks参考文献 26被引用 4

一句话总结

本文为插值区间中的经验风险最小化（ERM）建立了理论保证——即模型实现零训练误差时，某些 ERM 方法在大规模假设类上具有普遍的一致性并实现最优学习速率，而另一些方法则会灾难性地失败。作者进一步证明，在宽度足够大的深层 ReLU 网络中也存在类似行为，证明在温和条件下，网络具有一致性并达到近似最优的收敛速率。

ABSTRACT

A common strategy to train deep neural networks (DNNs) is to use very large architectures and to train them until they (almost) achieve zero training error. Empirically observed good generalization performance on test data, even in the presence of lots of label noise, corroborate such a procedure. On the other hand, in statistical learning theory it is known that over-fitting models may lead to poor generalization properties, occurring in e.g. empirical risk minimization (ERM) over too large hypotheses classes. Inspired by this contradictory behavior, so-called interpolation methods have recently received much attention, leading to consistent and optimally learning methods for some local averaging schemes with zero training error. However, there is no theoretical analysis of interpolating ERM-like methods so far. We take a step in this direction by showing that for certain, large hypotheses classes, some interpolating ERMs enjoy very good statistical guarantees while others fail in the worst sense. Moreover, we show that the same phenomenon occurs for DNNs with zero training error and sufficiently large architectures.

研究动机与目标

• 为了解决过参数化深度神经网络（DNN）在实现零训练误差时仍能实现良好泛化性能的悖论。
• 分析在大规模假设类上进行经验风险最小化（ERM）是否能实现一致且最优的学习性能。
• 识别在实现零训练误差时，插值 ERM 方法成功或失败的条件。
• 将经典非参数方法的理论分析扩展到实现零训练误差的 DNN。
• 证明当特定 DNN 架构的宽度随输入维度和样本量线性增长时，可实现一致性和近似最优的学习速率。

提出的方法

• 构建了大规模假设类 $\mathcal{H}_n$，证明其中某些插值最小二乘 ERM 算法具有普遍一致性，而另一些则收敛至回归函数的相反数。
• 使用数据依赖的立方分区规则 $\pi_{m_n,s_n}$ 定义基于直方图的预测器 $h_{D,\mathcal{A}_D}$，其中 $\mathcal{A}_D$ 是基于训练数据对输入空间的划分。
• 应用覆盖数和集中不等式来界定过量风险，利用 $\mathcal{H}_\mathcal{A}$ 和 $|\mathcal{P}_n| \leq c n^{1+\beta}$ 的 $\varepsilon$-覆盖数。
• 在贝叶斯函数满足 Hölder 连续性条件下，推导出经验直方图规则的学习速率，使用 $s_n = n^{-\gamma}$ 且 $\gamma = 1/(2\alpha + d)$。
• 证明当 $s_n \to 0$ 且 $\ln(ns_n^d)/(ns_n^d) \to 0$ 时，过量风险以概率收敛至零。
• 将结果扩展至至少包含两层隐藏层的 ReLU DNN，证明其具有一致性，并在全连接网络中实现 $\mathcal{O}(d^2 n^2)$ 的训练时间。

实验结果

研究问题

• RQ1 在实现零训练误差的情况下，大规模假设类上的经验风险最小化是否仍能实现一致且最优的学习性能？
• RQ2 哪些因素区分了泛化性能良好的插值 ERM 方法与灾难性失败的方法？
• RQ3 在经典非参数方法（如直方图规则）中观察到的统计现象是否也出现在实现零训练误差的深度神经网络中？
• RQ4 当宽度随 $n$ 和 $d$ 线性增长时，深度 ReLU 网络是否能在插值区间实现一致性和近似最优的学习速率？
• RQ5 在数据划分和网络架构方面，需要满足哪些条件才能确保插值预测器收敛至贝叶斯风险？

主要发现

• 在大规模假设类上，某些插值 ERM 方法具有普遍一致性，且过量风险界以高概率衰减至 $\mathcal{O}(\ln(n)/n)^{2\alpha\gamma}$。
• 其他插值 ERM 方法则完全失败，收敛至回归函数的相反数，其风险远非最优。
• 对于 $\alpha$-Hölder 连续的贝叶斯函数，所提出的基于直方图的 ERM 实现的学习速率与已知最优速率一致，仅相差 $\ln(n)$ 因子。
• 当 $n \to \infty$ 时，若 $\ln(ns_n^d)/(ns_n^d) \to 0$ 且 $s_n \to 0$，则过量风险以概率收敛至零。
• 在相同假设下，至少包含两层隐藏层且宽度随 $d$ 和 $n$ 线性增长的 ReLU DNN 可实现一致性和近似最优速率。
• 当实现为全连接网络时，此类 DNN 的训练时间可控制在 $\mathcal{O}(d^2 n^2)$。