[論文レビュー] Dependency Parsing as Head Selection

Xingxing Zhang, Jianpeng Cheng+1 more|arXiv (Cornell University)|Jun 3, 2016

Topic Modeling参考文献 52被引用数 5

ひとこと要約

この論文は、各単語の独立した頭部選択として依存構文解析を定式化する神経ネットワーク依存解析器DeNSeを提案する。双方向LSTM特徴を用い、学習時に構造的制約を課さずに、英語、中国語、チェコ語、ドイツ語の4言語で最先端の性能を達成している。単純であるが故に、87–97％の文で有効な木構造を生成し、UASおよびLASスコアにおいて競争力のある結果を示す。非木構造の出力を最大スパニングツリー（MST）アルゴリズムを用いた後処理によりわずかに改善できる。

ABSTRACT

Conventional graph-based dependency parsers guarantee a tree structure both during training and inference. Instead, we formalize dependency parsing as the problem of independently selecting the head of each word in a sentence. Our model which we call extsc{DeNSe} (as shorthand for {\bf De}pendency {\bf N}eural {\bf Se}lection) produces a distribution over possible heads for each word using features obtained from a bidirectional recurrent neural network. Without enforcing structural constraints during training, extsc{DeNSe} generates (at inference time) trees for the overwhelming majority of sentences, while non-tree outputs can be adjusted with a maximum spanning tree algorithm. We evaluate extsc{DeNSe} on four languages (English, Chinese, Czech, and German) with varying degrees of non-projectivity. Despite the simplicity of the approach, our parsers are on par with the state of the art.

研究の動機と目的

• 学習時に複雑な構造的制約を課さずに、単純かつ効果的な神経ネットワーク依存解析器を開発すること。
• 学習段階で木構造を強制しない神経特徴を用いた独立した頭部選択が、競争力のある構文解析性能を達成できるかどうかを調査すること。
• 多様な言語、特に非射影的構造の程度が異なる言語において、モデルの頑健性を評価すること。
• 最大スパニングツリー（MST）アルゴリズムを用いた非木構造出力の補正が、性能に悪影響を及げないかを評価すること。
• 複数のベンチマークデータセット上で、DeNSeの性能を最先端のグラフベースおよび遷移ベースの解析器と比較すること。

提案手法

• DeNSeは、語の表現を符号化するための双方向再帰ニューラルネットワーク（LSTM）を用い、各単語の頭部を独立して予測する。
• モデルは、学習時に木構造を強制しないように、学習済み特徴に基づいて各単語の可能な頭部の分布を出力する。
• 推論段階では、後処理なしで大部分の文（87–97％）に対して依存木を生成する。
• 非木構造の出力は、非射影的木に対してはChu-Liu-Edmondsアルゴリズム、射影的木に対してはEisnerアルゴリズムを用いて補正する。
• モデルは、頭部選択スコアに基づくアーク重み予測を用いたマージンベースの学習アルゴリズムで学習される。
• 特徴表現は単語埋め込みと品詞タグから得られ、広範な手動特徴工学は行われていない。

実験結果

リサーチクエスチョン

• RQ1 学習時に構造的制約を課さずに、各単語ごとの独立した頭部選択として依存構文解析を効果的にモデル化できるか？
• RQ2 双方向LSTM特徴に基づく神経モデルは、多様な言語において最先端の解析器と比較してどの程度の性能を示すか？
• RQ3 最大スパニングツリー（MST）アルゴリズムを用いた非木構造出力の補正は、性能を損なわずにどの程度の範囲で可能か？
• RQ4 提案手法は、非射影的構造の程度が異なる言語に一般化できるか？
• RQ5 精度と効率の観点から、高次の複雑なデコードモデルと比較してDeNSeはどの程度の性能を示すか？

主な発見

• DeNSeはCoNLL 2006およびPTBデータセットで最先端の性能を達成し、英語テストセットでは89.58％のUASおよび89.60％のLASを達成した。
• CTBデータセットでは、89.42％のUASおよび86.48％のLASを達成し、以前の神経モデルを上回った。
• チェコ語およびドイツ語において、DeNSeはすべての1次元グラフベース解析器を上回り、ドイツ語ではTurbo-3rd、チェコ語ではRBG-3rdといった高次のモデルと同等またはそれ以上の性能を示した。
• Chu-Liu-Edmondsアルゴリズムによる後処理は、平均で0.21％の性能向上をもたらし、計算コストは最小限に抑えられた。
• PTBでは95.1％の文で有効な依存木が生成され、CTBでは87.0％であった。それぞれ射影的構造は86.6％および73.1％であった。
• 長文においても強力な性能を維持し、C&M14やDyer15といった先行モデルを上回った。