[論文レビュー] Two Local Models for Neural Constituent Parsing

Zhiyang Teng, Yue Zhang|arXiv (Cornell University)|Aug 14, 2018

Natural Language Processing Techniques参考文献 54被引用数 5

ひとこと要約

本稿では、二方向LSTMエンコーダーとツリーLSTMベースのラベル生成を用いて、構文素片のスパンとCFG規則について独立に意思決定する2つの局所的ニューラルモデルを提案する。グローバルな構造的学習を用いないにもかかわらず、最高性能のモデルはPTBで92.4%のラベル付きブレケットF1、CTB 5.1で87.3%を達成し、アンサンブルや外部解析を用いない多くの先行ニューラルパーサーを上回る性能を示した。

ABSTRACT

Non-local features have been exploited by syntactic parsers for capturing dependencies between sub output structures. Such features have been a key to the success of state-of-the-art statistical parsers. With the rise of deep learning, however, it has been shown that local output decisions can give highly competitive accuracies, thanks to the power of dense neural input representations that embody global syntactic information. We investigate two conceptually simple local neural models for constituent parsing, which make local decisions to constituent spans and CFG rules, respectively. Consistent with previous findings along the line, our best model gives highly competitive results, achieving the labeled bracketing F1 scores of 92.4% on PTB and 87.3% on CTB 5.1.

研究の動機と目的

• グローバルな構造的学習に依存せずに、非常に局所的なニューラルモデルがニューラル構文素片パーサーにおいて競争力のある性能を達成できるかどうかを調査すること。
• 密なニューラル表現を用いた局所的なスパンレベルおよび規則レベル分類の有効性が、文法的構造をどの程度捉えられるかを評価すること。
• 二方向LSTMエンコーダーが長距離依存関係を暗黙的にモデル化できる程度を特定し、非局所的特徴の必要性を低減できるかどうかを検討すること。
• スパン分類、規則ベースパーサー、マルチラベルスパン予測といった異なる局所的モデリング戦略が、構文素片パーサーの精度に与える影響を比較すること。
• 強力なニューラルエンコーダーを用いる場合、再ランク付けやアンサンブル、外部解析を一切用いずに、単純な局所モデルが最先端の結果を達成または上回ることを示すこと。

提案手法

• スパンモデルは、すべての可能なスパン [i,j] が素片であるかどうかを0/1分類で予測するための二方向LSTMを用いる。長さ1のスパンを除くすべてのスパンに対して適用される。
• 規則モデルは、すべての有効な分割点について、生成規則 $P([i,j] \rightarrow [i,k][k+1,j] \mid S)$ の確率を予測する。二重アフィンスコアリング機構を用いる。
• スパンモデルまたは規則モデルからの局所的確率を用いて、二分木のCKYパーサーを用いて非ラベル付きの二分木構文解析木を構築する。
• ツリーLSTMエンコーダーが、非ラベル付きの二分木を再帰的に符号化し、文脈を反映したノード表現を生成する。
• 別個のLSTMデコーダーが、ツリーLSTMの出力を入力として用い、各ノードの素片ラベル列（一元規則を含む）を生成する。
• 最終的な解析木は、非二分木化処理後に再構築され、デコーダーによるノードごとのラベル割り当てが行われる。

実験結果

リサーチクエスチョン

• RQ1 グローバルな構造的学習を用いない、局所的でスパンレベルの分類モデルが、競争力のある構文素片パーサー精度を達成できるか？
• RQ2 素片のスパンを直接モデル化するのと比較して、素片規則（つまり分割点）を局所的にモデル化することは、どの程度効果的か？
• RQ3 二方向LSTMエンコーダーが、長距離の文法的依存関係をどの程度捉えることができるか。これにより、非局所的特徴の必要性がどの程度低減できるか？
• RQ4 スパン、規則、マルチラベルスパンといった異なる局所的モデリング戦略が、さまざまな素片タイプや文の長さにおいて、どのように性能を発揮するか？
• RQ5 強力なニューラルエンコーダーを用いる場合、再ランク付けやアンサンブル、外部解析を一切用いずに、単純な局所モデルがより複雑なグローバルモデルを上回ることができるか？

主な発見

• 最高性能のモデル、BiaffineRuleは、PTBテストセットで92.4%のラベル付きブレケットF1、CTB 5.1で87.3%を達成し、アンサンブルや外部解析を用いない多くの先行ニューラルパーサーを上回った。
• BiaffineRuleモデルは、SBAR、WHNP、QPといったラベルにおいて、MultiSpan や BinarySpan よりも優れた性能を示した。これは、分割点の検出がより正確であるためで、特に短い文において顕著だった。
• MultiSpanは、NP、PP、ADVP、ADJPにおいてBiaffineRuleを上回った。これは、これらのタイプにおいて明示的なラベル情報が有効であることを示している。
• 文の長さが30以上、またはスパンの長さが10以上の場合、MultiSpanがBiaffineRuleを上回った。これは、複雑な構造においてラベル情報の価値が高まることを示唆している。
• これらのモデルはラベルバイアスが最小限に抑えられており、文の長さが延びてもF1スコアの低下が滑らかで、従来の局所モデルとは異なっていた。
• BiaffineRuleモデルは推論速度が最も速く、6.00文/秒であった。一方、MultiSpanとBinarySpanは遅く、それぞれ21.55および22.12文/秒であった。これは、精度と速度のトレードオフが存在することを示している。