[論文レビュー] Effective Inference for Generative Neural Parsing

Mitchell Stern, Daniel Fried+1 more|arXiv (Cornell University)|Jul 27, 2017

Natural Language Processing Techniques参考文献 9被引用数 9

ひとこと要約

本稿では、生成的ニューラル構文解析のためのステート拡張ビームサーチを提案する。この手法は、語彙的行動と構造的行動の競合を分離することで、再ランク付けを伴わずに効果的なデコードを可能にする。候補選択の改善と粗いプルーニングの適用により、Penn Treebankのセクション23で92.56 F1を達成し、生成的ニューラルパーサーにおける先行する単一モデルの最先端結果を上回った。

ABSTRACT

Generative neural models have recently achieved state-of-the-art results for constituency parsing. However, without a feasible search procedure, their use has so far been limited to reranking the output of external parsers in which decoding is more tractable. We describe an alternative to the conventional action-level beam search used for discriminative neural models that enables us to decode directly in these generative models. We then show that by improving our basic candidate selection strategy and using a coarse pruning function, we can improve accuracy while exploring significantly less of the search space. Applied to the model of Choe and Charniak (2016), our inference procedure obtains 92.56 F1 on section 23 of the Penn Treebank, surpassing prior state-of-the-art results for single-model systems.

研究の動機と目的

• 生成的ニューラル構文解析器における標準的なアクションレベルビームサーチの失敗を解消すること。その理由は、語彙的行動と構造的行動の間で不均衡が生じるためである。
• 仮説間の競合を再定義し、同じタイプの行動どうしの競合を均等にするようにすることで、生成モデルにおける直接的デコードを可能にすること。
• 候補選択の強化と粗いプルーニングを用いることで、パフォーマンスを損なわずに推論の効率と正確性を向上させること。
• 生成的ニューラルパーサーが、再ランク付けツールではなく、自己完結的なシステムとして最先端の結果を達成できることを示すこと。

提案手法

• 語彙的行動（Shift）同士のみ、構造的行動（Open/Close）同士のみが競合するステート拡張ビームサーチを提案。これにより、不均衡が軽減される。
• すべてのビームサイズで性能向上が見られる高速トラック候補選択戦略を導入。高尤度なアクション列を優先的に扱う。
• 文脈履歴（順序- c）に基づく粗いプルーニング関数を採用。Open行動の後続候補数を削減し、効率性を向上させる。
• 学習データ統計を用いて事前にプルーニング閾値を計算。これにより、少なくとも99%の学習データがプルーニング下でも再構成可能となる。
• 最終モデルの選定には、再ランク付け性能ではなく開発セットの perplexity に基づく早期停止を適用。
• 語のアクション用（k_w）と構造的アクション用（k_s）の別々のビームサイズを用いたビームサーチを実装。モデル尤度と開発F1の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 再ランク付けの外部パーサーに依存せずに、生成的ニューラルパーサーが最先端のパフォーマンスを達成できるか？
• RQ2 標準的なアクションレベルビームサーチが生成的ニューラルパーシングで失敗する理由は何か？ そして、その失敗をどのように是正できるか？
• RQ3 プルーニング戦略により、生成的ニューラルパーシングにおける探索空間を削減できるか？ その際、正確性が低下しないか？
• RQ4 語彙的行動と構造的行動の競合を分離することで、デコードの効率性と正確性にどのような影響を与えるか？
• RQ5 改善された候補選択とプルーニングは、さまざまなビームサイズにおいてパフォーマンスをどの程度向上できるか？

主な発見

• 提案手法の推論手順により、Penn Treebankのセクション23で92.56 F1を達成。これは、生成的ニューラルパーシングにおける先行する単一モデルの最先端結果を上回った。
• プルーニングを適用した場合、Open行動の後続候補の69.2%をプルーニングしても92.53 F1を維持し、性能劣化が最小限に抑えられていることが示された。
• 元の Choe と Charniak (2016) の再ランク付けシステム（92.6 F1を達成）を上回った。これにより、生成モデルが自己完結的なシステムとして機能可能であることが実証された。
• プルーニング割合が8/26 ≈ 0.308のときでさえ性能が安定しており、7/26 ≈ 0.269では0.18 F1の低下、6/26 ≈ 0.231では0.40 F1の低下にとどまり、明確な性能の閾値が存在することが示された。
• 最良の設定では、ビームサイズ2000、語のビームサイズ200、1ステップあたり20個の高速トラック候補を用い、最高のモデル尤度と開発F1を達成した。
• 本手法により、外部パーサーや再ランク付けを必要とせず、生成モデルにおける直接的デコードが可能となり、単一モデルの生成的パーシングにおける新たな最先端を確立した。