[論文レビュー] Complex Structure Leads to Overfitting: A Structure Regularization Decoding Method for Natural Language Processing

Xu Sun, Weiwei Sun+5 more|arXiv (Cornell University)|Nov 25, 2017

Topic Modeling参考文献 50被引用数 6

ひとこと要約

本稿では、構造的正則化デコード（SRデコード）を提案する。これは、複雑な構造予測モデルにおける過学習を低減するための手法であり、複雑なモデルのデコードを、別個に訓練された単純なモデルで正則化することで実現する。このアプローチは経験的リスクと一般化リスクのバランスを図り、序列分類および構文解析タスクにおいて顕著な性能向上を達成し、F1誤差率が最大36.4％低下し、UASが5.5％向上する。

ABSTRACT

Recent systems on structured prediction focus on increasing the level of structural dependencies within the model. However, our study suggests that complex structures entail high overfitting risks. To control the structure-based overfitting, we propose to conduct structure regularization decoding (SR decoding). The decoding of the complex structure model is regularized by the additionally trained simple structure model. We theoretically analyze the quantitative relations between the structural complexity and the overfitting risk. The analysis shows that complex structure models are prone to the structure-based overfitting. Empirical evaluations show that the proposed method improves the performance of the complex structure models by reducing the structure-based overfitting. On the sequence labeling tasks, the proposed method substantially improves the performance of the complex neural network models. The maximum F1 error rate reduction is 36.4% for the third-order model. The proposed method also works for the parsing task. The maximum UAS improvement is 5.5% for the tri-sibling model. The results are competitive with or better than the state-of-the-art results.

研究の動機と目的

• 構造予測モデルにおける高い構造的複雑性が引き起こす過学習リスクに対処すること。
• 複雑なモデルにおける経験的リスクと一般化リスクのバランスを取る手法を開発すること。
• 構造に基づく過学習を低減することで、序列分類および構文解析タスクにおけるモデル性能を向上させること。
• 構造的複雑性と過学習リスクの関係を定量化する理論的根拠に基づくフレームワークを提供すること。
• ディープラーニングおよび構造予測モデルに一般に適用可能な正則化ソリューションを提供すること。

提案手法

• 構造的データ内の複雑な依存関係を捉えるために、複雑な構造モデルを訓練する。
• より単純なタグ構造（例：1次依存関係ではなく高次依存関係）を用いて、単純な構造モデルを別個に訓練する。
• デコード段階で、単純モデルの予測結果を用いて複雑モデルのデコード経路を制約または正則化する。
• 経験的リスク（訓練データにおける低誤差）と一般化リスク（構造的複雑性による過学習）のバランスを取る正則化メカニズムを適用する。
• 構造的複雑性が過学習リスクを増加させることを示す分析により、理論的裏付けが与えられる。このリスクは構造的正則化によって軽減可能である。
• フレームワークは、線形チェーンモデル（例：LSTMベースの序列分類）および階層モデル（例：構文解析のための構造的パーセプトロン）に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 構造予測モデルにおける構造的複雑性の増加は、過学習リスクの上昇をもたらすか？
• RQ2 単純な構造モデルは、複雑な構造モデルのデコードを効果的に正則化し、過学習を低減できるか？
• RQ3 構造予測における構造的複雑性と一般化リスクの間の定量的関係は何か？
• RQ4 構造的正則化デコードは、ベースラインモデルと比較して序列分類および構文解析タスクの性能を向上させられるか？
• RQ5 提案手法はディープラーニングベースの構造予測モデルに対しても有効か？

主な発見

• 提案手法の構造的正則化デコードにより、3次序列分類モデルではF1誤差率が最大36.4％低下した。
• 2次モデルでは、F1誤差率の最大低下率が23.2％に達した。
• 構文解析タスクでは、中国語のトリプル・サブリング要因分解において、UASが最大5.5％向上した。
• 複雑な構造モデルおよび単純な構造モデルを個別に使用した場合よりも、本手法は優れた性能を示した。
• 序列分類および構文解析ベンチマークにおいて、最先端手法と同等またはそれ以上の結果が得られた。
• 理論的分析により、構造的複雑性が高くなると構造的過学習リスクが増加することが確認され、正則化の必要性が裏付けられた。