[論文レビュー] Improving Neural Parsing by Disentangling Model Combination and Reranking Effects

Daniel Fried, Mitchell Stern+1 more|arXiv (Cornell University)|Jul 10, 2017

Natural Language Processing Techniques参考文献 10被引用数 8

ひとこと要約

本稿では、生成的ニューラルパーサーにおける直接的なビームサーチを可能にする手法を提案することで、ニューラル構文解析におけるモデル結合とリランクの効果を分離する。生成モデルを用いてベースパーサーの出力をリランクする際の性能向上は、優れた生成モデリングのおかげではなく、むしろ暗黙のモデル結合によるものであることが示された。ベースパーサーと生成モデルのスコアを明示的に組み合わせることでさらなる向上が得られ、Penn Treebank（ゴールドデータ）では94.25のF1スコア、外部のシルバー標準データでは94.66のF1スコアを達成し、新たなSOTAを樹立した。

ABSTRACT

Recent work has proposed several generative neural models for constituency parsing that achieve state-of-the-art results. Since direct search in these generative models is difficult, they have primarily been used to rescore candidate outputs from base parsers in which decoding is more straightforward. We first present an algorithm for direct search in these generative models. We then demonstrate that the rescoring results are at least partly due to implicit model combination rather than reranking effects. Finally, we show that explicit model combination can improve performance even further, resulting in new state-of-the-art numbers on the PTB of 94.25 F1 when training only on gold data and 94.66 F1 when using external data.

研究の動機と目的

• 生成的ニューラルモデルを用いてベースパーサーの出力をリランクすることによる性能向上が、優れた生成モデリングの結果であるのか、それとも暗黙のモデル結合の結果であるのかを調査すること。
• ベースパーサーに依存せずに、生成的ニューラルパーサーモデルにおける直接推論を可能にするビームサーチアルゴリズムを開発すること。
• ハイブリッドパーサーシステムにおけるリランクとモデル結合の寄与を分離し、定量的に評価すること。
• 複数のモデルからのスコアと候補パーサーを明示的に組み合わせることで、パーサー性能を向上させること。
• ゴールドデータおよび外部のシルバー標準トレーニングデータを用いて、Penn Treebankで新たなSOTAを達成すること。

提案手法

• 生成的ニューラルパーサーモデル（例：再帰的ニューラルネットワーク文法（RG）やLSTM言語モデル（LM）パーサー）における直接的デコードを可能にする、拡張された状態空間を用いたアクション同期ビームサーチを提案する。
• 判別的パーサーRDと同一のアクション空間（NT、Shift/Gen、Reduce）を用いるが、生成モデルの結合確率分布に従う有効なパーサー生成を可能にするために制約を変更する。
• 生成モデルの確率に基づくプルーニングを用いたビームサーチを採用し、ベースパーサーの出力に依存せずに、高確率のパーサーを探索可能にする。
• ベースパーサー（RD）と生成モデル（RG、LM）のスコアを平均化することで、候補リストから最良のパーサーを選択する明示的なモデル結合を導入する。
• 生成モデルにおける直接探索で得られたパーサーを、ベースパーサーの候補リストに追加することで、候補拡張を実施する。
• 複数モデルのアンサンブルとスコアの補間を用いてさらに性能を向上させ、ハイパーパramータは開発データ上で最適化する。

実験結果

リサーチクエスチョン

• RQ1 生成的リランクによる性能向上が、リランク効果とベースパーサーとの暗黙のモデル結合のどちらに起因しているのか、その程度はどの程度か？
• RQ2 生成的ニューラルパーサーモデルにおける直接探索は、標準的なクロススコアリング設定（B → A）よりも優れた性能を発揮できるか？
• RQ3 ベースパーサーと生成モデルのスコアを明示的に組み合わせることで、標準的なリランク設定を上回る性能が得られるか？
• RQ4 生成モデル自体は独立して強力な性能を発揮できるのか、それとも効果的なデコードのためにはベースパーサーに依存しているのか？
• RQ5 明示的なモデル結合と候補拡張は、Penn Treebankで新たなSOTAを達成できるか？

主な発見

• 生成モデルにおける直接的ビームサーチ（A → A）は、標準的なクロススコアリング設定（B → A）よりも性能が低いことが判明し、生成モデルが一部の高確率パーサーを好むが、これらは実際にはパーサー精度を損なう可能性があることが示された。
• B → Aの性能向上は、生成モデルのスコアが独立して最適でないため、主に暗黙のモデル結合によるものであり、優れた生成モデリングの結果ではないことが明らかになった。
• ベースパーサーと生成モデルのスコアを明示的に組み合わせること（例：RD + RG や RD + LM）により、生成モデルのスコアのみを用いる場合よりも顕著な性能向上が得られた。
• 生成モデルにおける直接探索で得られたパーサーを候補リストに追加することで、さらに性能向上が見られ、候補拡張の価値が裏付けられた。
• ゴールドデータのみを用いて、複数モデルのスコアと候補を組み合わせた結果、Penn Treebankで94.25のF1スコアを達成し、新たなSOTAを樹立した。
• 外部のシルバーデータを用いる場合、94.66のF1スコアを達成し、既存のSOTAをさらに上回り、アンサンブルや標準的なリランクアプローチを上回る性能を示した。