[论文解读] A Comparative Study on Regularization Strategies for Embedding-based Neural Networks

Hao Peng, Lili Mou+4 more|arXiv (Cornell University)|Aug 15, 2015

Topic Modeling参考文献 19被引用 8

一句话总结

本文在两个NLP任务（关系抽取和情感分析）上，使用标准神经网络模型，对正则化策略——权重和嵌入的$β_2$-范数惩罚、dropout以及重嵌入——进行了系统比较。研究发现，对嵌入应用$β_2$正则化能同时提升泛化能力和优化效果，增量式超参数调优有效，将$β_2$与dropout结合可获得互补性增益，而重嵌入则未见任何益处。

ABSTRACT

This paper aims to compare different regularization strategies to address a common phenomenon, severe overfitting, in embedding-based neural networks for NLP. We chose two widely studied neural models and tasks as our testbed. We tried several frequently applied or newly proposed regularization strategies, including penalizing weights (embeddings excluded), penalizing embeddings, re-embedding words, and dropout. We also emphasized on incremental hyperparameter tuning, and combining different regularizations. The results provide a picture on tuning hyperparameters for neural NLP models.

研究动机与目标

• 为解决基于嵌入的神经网络在NLP中因参数维度过高而导致的严重过拟合问题。
• 在标准NLP任务上，通过受控且公平的实验，评估常见及新型正则化策略的有效性。
• 探究是否可在不损失性能的前提下，实现超参数的增量式调优。
• 探索多种正则化技术组合使用的协同效应。

提出的方法

• 本研究采用两个广泛使用的NLP任务：SemEval-2010 Task 8的关系分类任务和Stanford Sentiment Treebank的情感分析任务。
• 使用两种标准模型：用于关系抽取的卷积神经网络（CNN）和用于情感分析的递归神经网络，两者均采用固定50维的隐藏层。
• 使用来自Wikipedia的预训练词嵌入，通过随机梯度下降和反向传播对模型参数进行微调。
• 评估四种正则化策略：对网络权重施加$β_2$-范数惩罚、对嵌入施加$β_2$-范数惩罚、使用不同率的dropout，以及通过学习变换实现的重嵌入。
• 在广泛的正则化系数范围（$10^{-9}$至$10^{-2}$）内进行超参数调优，同时在不同训练阶段测试增量调优策略。
• 实验重复五次，采用不同的随机初始化，以确保统计可靠性。

实验结果

研究问题

• RQ1 在不同数据集上，不同正则化策略在基于嵌入的神经网络中的表现如何？
• RQ2 是否可在训练过程中增量式调优正则化系数，以减轻超参数搜索的负担？
• RQ3 组合多种正则化策略对模型泛化能力和性能的影响是什么？

主要发现

• 正则化显著提升了泛化能力，但其有效性高度依赖于数据集规模。
• 对嵌入施加$β_2$-范数惩罚意外地提升了训练准确率，表明其具有积极的优化作用。
• 增量式超参数调优可达到与完整验证基线调优相当的性能，表明$β_2$正则化主要起局部正则化作用。
• 与$β_2$惩罚相比，dropout表现略差，但当与小量$β_2$惩罚结合时，可获得互补的性能增益。
• 重嵌入方法在实验中未表现出可测量的益处，未能改善泛化或优化效果。
• 在权重和嵌入上同时应用$β_2$惩罚，相比单独使用任一方法，可实现3–4%的准确率提升，且系数表现出强烈的互补性。