[論文レビュー] Stack-Pointer Networks for Dependency Parsing

Xuezhe Ma, Zecong Hu+4 more|arXiv (Cornell University)|May 3, 2018

Natural Language Processing Techniques被引用数 8

ひとこと要約

本稿では、トップダウンで深さ優先探索を行うための、ポ인터ネットワークと内部スタックを組み合わせた新しい遷移ベースのニューラル依存解析器、Stack-Pointer Networks (StackPtr) を提案する。全文の文脈と部分木の履歴を活用しながらも、線形時間計算量を維持することで、20ヶ国語の29個のツリーcketのうち21個で最先端の性能を達成した。

ABSTRACT

We introduce a novel architecture for dependency parsing: \emph{stack-pointer networks} ( extbf{ extsc{StackPtr}}). Combining pointer networks~\citep{vinyals2015pointer} with an internal stack, the proposed model first reads and encodes the whole sentence, then builds the dependency tree top-down (from root-to-leaf) in a depth-first fashion. The stack tracks the status of the depth-first search and the pointer networks select one child for the word at the top of the stack at each step. The extsc{StackPtr} parser benefits from the information of the whole sentence and all previously derived subtree structures, and removes the left-to-right restriction in classical transition-based parsers. Yet, the number of steps for building any (including non-projective) parse tree is linear in the length of the sentence just as other transition-based parsers, yielding an efficient decoding algorithm with $O(n^2)$ time complexity. We evaluate our model on 29 treebanks spanning 20 languages and different dependency annotation schemas, and achieve state-of-the-art performance on 21 of them.

研究の動機と目的

• 左から右への局所的決定によって誤差伝播を引き起こす古典的遷移ベースの解析器の限界を解消すること。
• 優れた正確性を誇るが、高い時間計算量（例：O(n³)）を示すグラフベースの解析器の非効率性を克服すること。
• 効率を損なわせることなく、文の全体的視野と以前に構築された部分木の履歴を維持することで、正確性を向上させる遷移ベースの解析器を開発すること。
• 非プロジェクト型依存構造の解析を可能にしつつ、線形の解析ステップとO(n²)の時間計算量を維持すること。
• 多様な言語と依存構造のアノテーションスキーマにおいて、競争力あるまたは最先端の性能を達成すること。

提案手法

• 入力文全体を文脈に応じた単語表現に変換するため、双方向RNNエンコーダーを用いる。
• 深さ優先走査における現在の依存木の状態を追跡する内部スタックを維持する。
• 各デコードステップで、スタックのトップにあるヘッド単語の子単語を選択するためにポインタネットワークを適用する。
• ポインタネットワークは、兄弟や祖父母を含む文内のすべての単語に注目することで、子単語選択の意思決定を支援する。
• 選択された子単語を木に統合し、スタック状態を更新することで、トップダウン的で段階的な木構築を可能にする。
• 微分可能なアテンションメカニズムを統合し、モデルが文全体および過去の部分木構造からの関連する文脈に注目できるようにする。

実験結果

リサーチクエスチョン

• RQ1 遷移ベースの解析器は、時間計算量を増加させることなく、文の全体的文脈と部分木履歴を維持することで、解析の正確性を向上させることができるか？
• RQ2 ポインタネットワークと内部スタックを組み合わせることで、非プロジェクト型依存木の効果的かつ効率的で正確なトップダウン解析が可能になるか？
• RQ3 提案されたアーキテクチャは、バイアフィン・アテンション（BiAF）のような最先端のグラフベースのモデルと比較して、多様な言語において正確性と効率性の面で優れているか？
• RQ4 提案されたアーキテクチャは、構文的構造や依存構造のアノテーションスキーマが異なる言語に対しても汎用性を示すか？
• RQ5 遷移ベース解析における左から右への制約を排除することで、解析性能にどのような影響を与えるか？

主な発見

• StackPtrは、20ヶ国語の29個のツリーcketのうち21個で、UASおよびLASの最先端性能を達成した。特に、9ヶ国語では強力なバイアフィン・アテンション（BiAF）ベースラインを上回った。
• CoNLL 2012 共同タスクにおいて、StackPtrは8ヶ国語（アラビア語、チェコ語、英語、ドイツ語、ポルトガル語、スロベニア語、スペイン語、スウェーデン語）で最高のUASを記録した。スコアはスペイン語で93.46% UAS（最低）からノルウェー語で95.52% UAS（最高）まで変動した。
• UDツリーcketにおいて、StackPtrはテストされた12ヶ国語すべてで90%以上のUASを達成し、9ヶ国語（例：ノルウェー語で+0.25 UAS、ロシア語で+0.30 UAS）でBiAFを上回った。
• 英語のUDツリーcketでは、テストセットで92.51% UASおよび90.50% LASを達成し、BiAF（91.91% UAS、89.82% LAS）を上回った。
• ドイツ語のUDツリーcketでは、94.89% UASおよび92.58% LASを達成し、BiAF（94.75% UAS、92.72% LAS）を上回った。
• モデルはO(n²)の時間計算量を維持しており、効率的な遷移ベースの解析器と同等である一方で、ポインタネットワークのアテンションによりグローバルな文脈を捉えている。