[论文解读] Backward Feature Correction: How Deep Learning Performs Deep Learning

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Jan 13, 2020

Tensor decomposition and applications参考文献 88被引用 56

一句话总结

本文提出反向特征修正作为机制，解释深度神经网络如何利用SGD高效学习复杂、分层的函数。证明了过参数化的深度网络可在多项式时间与样本量内学习到某些高次多项式概念，而诸如核方法等非分层方法则面临指数级复杂度，从而确立了深度学习在样本与时间效率上的根本优势。

ABSTRACT

How does a 110-layer ResNet learn a high-complexity classifier using relatively few training examples and short training time? We present a theory towards explaining this in terms of hierarchical learning. We refer hierarchical learning as the learner learns to represent a complicated target function by decomposing it into a sequence of simpler functions to reduce sample and time complexity. This paper formally analyzes how multi-layer neural networks can perform such hierarchical learning efficiently and automatically by applying SGD. On the conceptual side, we present, to the best of our knowledge, the FIRST theory result indicating how deep neural networks can be sample and time efficient on certain hierarchical learning tasks, when NO KNOWN non-hierarchical algorithms (such as kernel method, linear regression over feature mappings, tensor decomposition, sparse coding, and their simple combinations) are efficient. We establish a principle called backward feature correction, where training higher layers in the network can improve the features of lower level ones. We believe this is the key to understand the deep learning process in multi-layer neural networks. On the technical side, we show for every input dimension $d > 0$, there is a concept class consisting of degree $\omega(1)$ multi-variate polynomials so that, using $\omega(1)$-layer neural networks as learners, SGD can learn any target function from this class in $\mathsf{poly}(d)$ time using $\mathsf{poly}(d)$ samples to any $\frac{1}{\mathsf{poly}(d)}$ error, through learning to represent it as a composition of $\omega(1)$ layers of quadratic functions. In contrast, we present lower bounds stating that several non-hierarchical learners, including any kernel methods, neural tangent kernels, must suffer from $d^{\omega(1)}$ sample or time complexity to learn this concept class even to $d^{-0.01}$ error.

研究动机与目标

• 解释为何深度神经网络在数据和训练时间有限的情况下，仍能在复杂学习任务上实现高样本效率与时间效率。
• 识别一种根本性的学习机制——反向特征修正，该机制使深度网络能够实现分层特征学习。
• 正式证明深度网络在一类高次多项式函数上优于所有已知的非分层学习方法（如核方法、稀疏编码）。
• 建立理论边界，表明非分层方法在相同任务上需要超多项式样本或时间复杂度。

提出的方法

• 提出反向特征修正作为训练机制，其中高层在SGD优化过程中改进低层学习到的特征。
• 分析深度为ω(1)的网络作为度为ω(1)的多元多项式概念类的学习器。
• 使用SGD训练过参数化的网络，将目标函数表示为ω(1)层二次函数的复合。
• 建立理论收敛保证，显示学习该类中任意目标函数至1/poly(d)误差时，时间与样本复杂度为多项式级别。
• 将网络性能与非分层学习器进行比较，包括核方法、神经正切核与稀疏编码。
• 采用下界分析证明，即使对于恒定误差（d^{-0.01}），非分层方法仍需d^ω(1)复杂度。

实验结果

研究问题

• RQ1 深度神经网络如何在非分层方法失效的分层学习任务中实现样本与时间效率？
• RQ2 何种机制使深度网络能在训练过程中自动将复杂函数分解为更简单的分层组件？
• RQ3 为何深度网络在模型容量高但样本与训练时间有限的情况下仍能良好泛化？
• RQ4 我们能否正式证明非分层学习方法在某些函数类上根本上不如深度网络高效？
• RQ5 反向特征修正在SGD训练过程中如何改善低层表示？

主要发现

• 深度为ω(1)的网络可使用SGD在多项式时间与样本复杂度内学习到任意目标函数，该目标函数属于度为ω(1)的多元多项式类。
• 对于任何核方法或神经正切核，该概念类均需d^ω(1)样本或时间复杂度才能达到d^{-0.01}误差，从而证明其低效性。
• 反向特征修正使高层能够改进低层特征，构成深度网络中分层学习的核心机制。
• 本文建立了首个理论结果，证明深度网络在非分层算法无法处理的分层任务中具有样本与时间效率。
• 非分层学习器，包括基于特征映射的线性回归与张量分解，也在此类问题上面临超多项式复杂度。
• 理论框架表明，深度学习的效率源于其通过SGD隐式执行分层函数分解的能力。