[论文解读] Implicit Regularization of Stochastic Gradient Descent in Natural Language Processing: Observations and Implications

Deren Lei, Zichen Sun+2 more|arXiv (Cornell University)|Nov 1, 2018

Domain Adaptation and Few-Shot Learning参考文献 29被引用 7

一句话总结

本文研究了在自然语言处理（NLP）任务的过参数化深度学习模型中，随机梯度下降（SGD）的隐式正则化效应。通过在多种NLP任务上进行广泛的实证评估，结果表明，即使在数据稀缺、标签污染或权重初始化方式多样的情况下，纯SGD仍能持续收敛至可泛化的极小值点，其表现优于小批量SGD，并且与dropout等显式正则化方法共存。关键发现是，SGD的隐式归纳偏置具有鲁棒性和内在性，为在不使用显式正则化的情况下提升泛化性能提供了实用路径。

ABSTRACT

Deep neural networks with remarkably strong generalization performances are usually over-parameterized. Despite explicit regularization strategies are used for practitioners to avoid over-fitting, the impacts are often small. Some theoretical studies have analyzed the implicit regularization effect of stochastic gradient descent (SGD) on simple machine learning models with certain assumptions. However, how it behaves practically in state-of-the-art models and real-world datasets is still unknown. To bridge this gap, we study the role of SGD implicit regularization in deep learning systems. We show pure SGD tends to converge to minimas that have better generalization performances in multiple natural language processing (NLP) tasks. This phenomenon coexists with dropout, an explicit regularizer. In addition, neural network's finite learning capability does not impact the intrinsic nature of SGD's implicit regularization effect. Specifically, under limited training samples or with certain corrupted labels, the implicit regularization effect remains strong. We further analyze the stability by varying the weight initialization range. We corroborate these experimental findings with a decision boundary visualization using a 3-layer neural network for interpretation. Altogether, our work enables a deepened understanding on how implicit regularization affects the deep learning model and sheds light on the future study of the over-parameterized model's generalization ability.

研究动机与目标

• 探究在自然语言处理（NLP）任务的实用过参数化深度学习模型中，随机梯度下降（SGD）是否表现出隐式正则化。
• 评估SGD的隐式正则化与dropout等显式正则化器之间的相互作用。
• 评估在数据量有限或标签被污染等挑战性数据条件下，SGD隐式正则化的稳定性。
• 研究权重初始化范围对深度神经网络中隐式正则化强度的影响。
• 通过分析优化动态和决策边界，为过参数化模型的泛化行为提供实证洞察。

提出的方法

• 在包括文本分类和语言建模在内的多个NLP任务中，对纯SGD（批量大小=1）与小批量SGD进行实证评估。
• 系统性消融分析训练数据量、标签污染水平（0.1至0.3）以及权重初始化范围，以隔离其对隐式正则化的影响。
• 在三层前馈网络中使用决策边界可视化方法，以解释模型行为和收敛模式。
• 在控制实验下，比较不同批量大小和初始化方案下的泛化性能，以隔离隐式正则化效应。
• 通过测量在不同批量大小和标签噪声下的泛化性能，评估dropout与SGD的交互作用。
• 对不同污染水平和初始化范围下的测试准确率与收敛行为进行定量分析，以评估隐式正则化的鲁棒性。

实验结果

研究问题

• RQ1 SGD在NLP的深度学习系统中是否存在隐式正则化？如何在最先进模型中加以利用？
• RQ2 显式正则化（如dropout）的存在如何影响SGD隐式正则化的强度与可观测性？
• RQ3 当模型容量因训练数据量小或标签噪声高而受限时，SGD的隐式正则化是否依然稳健？
• RQ4 权重初始化范围如何影响SGD训练的深度网络中隐式正则化的强度？
• RQ5 在标签被污染的情况下，隐式正则化是否仍可保持？这对过参数化模型的泛化意味着什么？

主要发现

• 即使在大批次大小下，纯SGD仍能持续收敛至泛化性能优于小批量SGD的极小值点。
• 当应用dropout时，SGD的隐式正则化效应依然存在，表明dropout并未完全取代或消除SGD的归纳偏置。
• 随着训练数据量减少至10%，泛化性能仅缓慢下降，且在所有测试数据规模下，隐式正则化效应仍可被观测到。
• 在标签污染（最高达30%噪声）条件下，隐式正则化效应仅在最高污染水平（0.3）时出现弱化，表明其对中等噪声具有鲁棒性。
• 权重初始化范围较小的模型表现出更强的隐式正则化，尽管该关系在所有范围内并非单调递减。
• 在适当初始化下，略大的批量大小（如5）可在显著提升训练速度的同时恢复隐式正则化，提供一种实用的权衡方案。