[论文解读] Can SGD Learn Recurrent Neural Networks with Provable Generalization?

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Feb 4, 2019

Machine Learning and Algorithms参考文献 32被引用 13

一句话总结

该论文表明，随机梯度下降（SGD）能够对一类序列函数中的ReLU激活循环神经网络（RNN）实现可证明的良好泛化，其中每个输出标记是通过早期输入标记的平滑两层神经网络生成的。关键结果是，即使循环权重矩阵的谱范数大于1，训练误差和泛化误差仍与输入长度呈多项式（或近乎多项式）增长，从而克服了先前的指数级界。

ABSTRACT

Recurrent Neural Networks (RNNs) are among the most popular models in sequential data analysis. Yet, in the foundational PAC learning language, what concept class can it learn? Moreover, how can the same recurrent unit simultaneously learn functions from different input tokens to different output tokens, without affecting each other? Existing generalization bounds for RNN scale exponentially with the input length, significantly limiting their practical implications. In this paper, we show using the vanilla stochastic gradient descent (SGD), RNN can actually learn some notable concept class efficiently, meaning that both time and sample complexity scale polynomially in the input length (or almost polynomially, depending on the concept). This concept class at least includes functions where each output token is generated from inputs of earlier tokens using a smooth two-layer neural network.

研究动机与目标

• 为解决在PAC学习框架下，SGD能否对RNN实现可证明泛化的理论理解的根本性差距。
• 解决单个循环单元如何在不同位置对同一输入标记学习不同函数而不产生干扰的挑战。
• 克服由于循环权重矩阵范数导致泛化界随输入长度呈指数增长的现有局限。
• 建立SGD即使在谱范数β > 1时，也能同时实现高效的优化与泛化。
• 证明RNN能够以多项式时间与样本复杂度，高效学习由先前输入通过平滑两层网络生成输出的概念类。

提出的方法

• 作者分析了一种嵌入在RNN中的两层前馈网络结构，其中每个输出标记通过早期输入的平滑可微函数计算得出。
• 他们引入了一个正则化目标函数G，将预测损失与控制权重矩阵范数的惩罚项相结合。
• 关键技术工具是使用缩放的对偶变量λ，将RNN权重的优化与泛化误差分离，从而实现稳定的梯度更新。
• 分析利用集中不等式和矩阵扰动理论，界定了随机梯度与真实梯度之间的偏差。
• 他们对SGD迭代应用了望远镜式论证，以证明期望目标值收敛至最优值的ε范围内。
• 他们推导出最终权重范数Δ的界，其依赖于输入长度和问题参数的多项式关系，从而确保泛化。

实验结果

研究问题

• RQ1 SGD能否在每个输出依赖于早期输入的平滑函数的序列任务中，对RNN实现可证明的泛化？
• RQ2 当循环权重矩阵的谱范数β > 1时，RNN的泛化误差是否仍保持与输入长度的多项式关系？
• RQ3 单个循环单元如何在不同位置对同一输入标记学习不同函数，而不记忆训练样本？
• RQ4 在标准SGD下，无需对β显式正则化，能否同时保证RNN的优化与泛化？
• RQ5 是否存在一类序列函数，使得RNN能使用原始SGD高效学习（多项式时间与样本复杂度）？

主要发现

• SGD在时间与样本复杂度上均呈多项式（或近乎多项式）增长，实现与最优误差相差ε以内的泛化误差，且该复杂度依赖于输入长度L。
• 该方法即使在循环权重矩阵的谱范数β > 1时仍有效，这使得先前依赖于L的指数级泛化界失效。
• 为达到ε-最优性，所需SGD迭代次数T为O(p²ρ¹²C²/ε²)，其中p、ρ和C为与问题相关的参数。
• 最终权重范数‖Wₜ‖_F被界为O(C²ρ¹¹p²/ε²√m)，该界确保了泛化，且与L无关。
• 分析表明，泛化误差被界为O(ρ⁷Δ⁴/³/m¹/⁶)，可通过过参数化（大m）使其变小。
• 该结果适用于一类概念类，其中每个输出标记由作用于早期输入标记的平滑两层ReLU网络生成，提供了具体且实用的函数类。