[論文レビュー] Neural CRF Parsing

Greg Durrett, Dan Klein|arXiv (Cornell University)|Jul 13, 2015

Natural Language Processing Techniques参考文献 32被引用数 22

ひとこと要約

この論文では、従来のスパース特徴ベースのポテンシャルを、フィードフォワードニューラルネットワークを介した非線形で密な特徴表現に置き換えるニューラルCRFパーサーモデルを提案する。CKYを用いた正確な構造的推論を維持する。このアプローチにより、パーサー単体としての最先端性能が達成され、Penn Treebankのセクション23で91.1のF1を記録し、複数の言語で先行する単一パーサーの結果を上回った。

ABSTRACT

This paper describes a parsing model that combines the exact dynamic programming of CRF parsing with the rich nonlinear featurization of neural net approaches. Our model is structurally a CRF that factors over anchored rule productions, but instead of linear potential functions based on sparse features, we use nonlinear potentials computed via a feedforward neural network. Because potentials are still local to anchored rules, structured inference (CKY) is unchanged from the sparse case. Computing gradients during learning involves backpropagating an error signal formed from standard CRF sufficient statistics (expected rule counts). Using only dense features, our neural CRF already exceeds a strong baseline CRF model (Hall et al., 2014). In combination with sparse features, our system achieves 91.1 F1 on section 23 of the Penn Treebank, and more generally outperforms the best prior single parser results on a range of languages.

研究の動機と目的

• CRF構造の帰納的バイアスとニューラルネットワークの表現力の両方を統合することで、構文解析の性能を向上させること。
• 正確な動的計画法による推論を維持しつつ、構造予測における非線形特徴学習を可能にすること。
• CRFパーサーにおけるスパース特徴工学の限界を克服し、それを密で学習された表現に置き換えること。
• 複数の言語における構文解析ベンチマークで最先端の性能を達成すること。

提案手法

• モデルは、アンカー付きの規則生成に依存するCRFを用い、従来のCRFパーサーと同一の構造的帰納的バイアスを維持する。
• 線形関数によるスパース特徴の代わりに、フィードフォワードニューラルネットワークを用いて非線形ポテンシャルを計算する。
• 構造的推論はCKYパーサーを用い、局所的ポテンシャルのおかげで効率的かつ正確に実行される。
• 学習中の勾配は、標準的なCRF十分統計量（具体的には期待される規則カウント）を用いたバックプロパゲーションにより計算される。
• パフォーマンス向上のため、密特徴とスパース特徴の両方の統合をサポートする。

実験結果

リサーチクエスチョン

• RQ1 正確な推論を損なわずに、ニューラルネットワークがCRFパーサーにおける局所的特徴の表現を向上させられるか？
• RQ2 線形特徴関数を非線形ニューラルポテンシャルに置き換えることで、パーサーの精度が向上するか？
• RQ3 ニューラルCRFは、Penn Treebankのような標準的なパーサーベンチマークで最先端の結果を達成できるか？
• RQ4 パーサーにおいて、密特徴とスパース特徴を組み合わせた場合、性能はどのように変化するか？

主な発見

• ニューラルCRFモデルは、Penn Treebankのセクション23で91.1のF1を達成し、単一パーサーとしての新記録を樹立した。
• 密特徴のみを用いても、Hallら（2014）の強力なベースラインCRFモデルをすでに上回った。
• モデルは言語間で良好に一般化され、複数の言語で、最も優れた先行単一パーサーの結果を上回った。
• 密特徴とスパース特徴の両方を統合した場合、一方の特徴のみを用いたモデルよりも一貫した性能向上が得られた。