[论文解读] Complex Structure Leads to Overfitting: A Structure Regularization Decoding Method for Natural Language Processing

Xu Sun, Weiwei Sun+5 more|arXiv (Cornell University)|Nov 25, 2017

Topic Modeling参考文献 50被引用 6

一句话总结

本文提出结构正则化解码（SR解码），一种通过使用独立训练的简单模型来正则化复杂模型的解码过程，从而减少复杂结构预测模型过拟合的方法。该方法平衡经验风险与泛化风险，在序列标注和解析任务上显著提升性能，F1错误率最高降低36.4%，UAS提升5.5%。

ABSTRACT

Recent systems on structured prediction focus on increasing the level of structural dependencies within the model. However, our study suggests that complex structures entail high overfitting risks. To control the structure-based overfitting, we propose to conduct structure regularization decoding (SR decoding). The decoding of the complex structure model is regularized by the additionally trained simple structure model. We theoretically analyze the quantitative relations between the structural complexity and the overfitting risk. The analysis shows that complex structure models are prone to the structure-based overfitting. Empirical evaluations show that the proposed method improves the performance of the complex structure models by reducing the structure-based overfitting. On the sequence labeling tasks, the proposed method substantially improves the performance of the complex neural network models. The maximum F1 error rate reduction is 36.4% for the third-order model. The proposed method also works for the parsing task. The maximum UAS improvement is 5.5% for the tri-sibling model. The results are competitive with or better than the state-of-the-art results.

研究动机与目标

• 解决结构预测模型中因高结构复杂度带来的过拟合风险。
• 开发一种在复杂模型中平衡经验风险与泛化风险的方法。
• 通过减少基于结构的过拟合，提升模型在序列标注和解析任务上的性能。
• 提供一个理论基础框架，用于量化结构复杂度与过拟合风险之间的关系。
• 提供一种适用于深度学习和结构预测模型的通用正则化解决方案。

提出的方法

• 训练一个复杂结构模型以捕捉结构数据中的复杂依赖关系。
• 独立训练一个简单结构模型，使用更简单的标签结构（例如，一阶而非高阶依赖关系）。
• 在解码过程中，利用简单模型的预测结果来约束或正则化复杂模型的解码路径。
• 应用一种正则化机制，以平衡经验风险（在训练数据上误差较低）与泛化风险（因结构复杂度导致的过拟合）。
• 通过分析证明，结构复杂度会增加过拟合风险，而结构正则化可有效缓解该问题，该方法具有理论依据。
• 该框架被应用于线性链模型（例如，基于LSTM的序列标注）和层次化模型（例如，用于解析的结构感知感知器）。

实验结果

研究问题

• RQ1 在结构预测模型中增加结构复杂度是否会导致更高的过拟合风险？
• RQ2 简单结构模型能否有效正则化复杂结构模型的解码过程以减少过拟合？
• RQ3 在结构预测中，结构复杂度与泛化风险之间存在何种定量关系？
• RQ4 与基线模型相比，结构正则化解码是否能提升序列标注和解析任务的性能？
• RQ5 所提出的方法是否对基于深度学习的结构预测模型有效？

主要发现

• 所提出的结构正则化解码方法在三阶序列标注模型上，F1错误率最高降低36.4%。
• 在二阶模型上，F1错误率最大降低23.2%。
• 在解析任务中，该方法在中文三元组因子分解任务上，UAS最高提升5.5%。
• 该方法在性能上优于单独使用复杂结构模型或简单结构模型。
• 在序列标注和解析基准测试中，结果与当前最先进方法相当或更优。
• 理论分析证实，更高的结构复杂度会增加基于结构的过拟合风险，验证了正则化的必要性。