[論文レビュー] Bi-directional Attention with Agreement for Dependency Parsing

Hao Cheng, Hao Fang+3 more|arXiv (Cornell University)|Aug 6, 2016

Topic Modeling参考文献 33被引用数 13

ひとこと要約

本稿では、前方および後方解析方向をモデル化し、ゴールデンアライメントの微分可能近似を用いて注目配列の一致を強制することで、パーサーの正確性を向上させる、二方向アテンションとアライメント一致を組み合わせた新しいグラフベースの依存構文解析器BiAtt-DPを提案する。このモデルは、O(n²)の計算量で高次の依存関係を捉えることができ、CoNLL 2006ベンチマークの14言語のうち6言語で最先端の未ラベル付与スコア（UAS）を達成した。

ABSTRACT

We develop a novel bi-directional attention model for dependency parsing, which learns to agree on headword predictions from the forward and backward parsing directions. The parsing procedure for each direction is formulated as sequentially querying the memory component that stores continuous headword embeddings. The proposed parser makes use of {\it soft} headword embeddings, allowing the model to implicitly capture high-order parsing history without dramatically increasing the computational complexity. We conduct experiments on English, Chinese, and 12 other languages from the CoNLL 2006 shared task, showing that the proposed model achieves state-of-the-art unlabeled attachment scores on 6 languages.

研究の動機と目的

• 前方および後方解析方向からのより豊かな文脈的情報を捉える二方向アテンションを活用することで、依存構文解析の正確性を向上させること。
• 二方向デコードにおけるアライメントの不一致問題に対処するため、前方および後方アテンションアライメント間の一致目的を導入すること。
• 従来のグラフベースのパーサーとは異なり、計算量をO(n²)を超えて増加させることなく、高次のパーサー履歴を暗黙的にモデル化すること。
• 潜在的なアテンション機構と観測されたゴールデンアライメントの間のギャップを埋めるために、一致目的の単純で解釈可能な近似を導出すること。
• メモリネットワークに基づくアテンションのグラフベースの依存構文解析への新規応用として、その有効性を示すこと。

提案手法

• すべての可能な頭語の埋め込みが連続ベクトルとして格納されたメモリネットワークをモデルが使用し、メモリコンponentを形成する。
• クエリコンponentは二方向RNNを用い、メモリに対する順次的なクエリを生成し、メモリ上のアテンションによりソフトな頭語埋め込みを生成する。
• アテンション機構は、クエリと各頭語埋め込み間のアライメントスコアを計算し、すべての可能な頭語に関する確率分布を生成する。
• 前方および後方解析方向からのアテンション分布の一致を図るための新規な一致目的を導入し、ゴールデンアーキの微分可能近似を用いる。
• 語彙形、品詞素性、語幹、その他の特徴から加法的にトークン埋め込みを構築し、パrameter数を削減するための共有埋め込み行列を用いる。
• パーサー処理は、MSTParserと同様に、すべての可能なアークを同時に扱うが、順次デコード中に関連する頭語に動的に注目するためのニューラルアテンションを用いる。

実験結果

リサーチクエスチョン

• RQ1 二方向アテンションにアライメント一致を組み合わせることで、一方向または一致ベースでないモデルと比較して、依存構文解析の性能が向上するか？
• RQ2 前方および後方アテンション方向間の一致を強制することで、より一貫性があり正確な頭語予測が得られるか？
• RQ3 メモリネットワークに基づくアテンション機構は、計算量をO(n²)を超えて増加させることなく、高次のパーサー履歴を暗黙的にモデル化できるか？
• RQ4 提案された一致目的の近似は、教師あり依存構文解析の文脈において有効で、解釈可能であるか？
• RQ5 モデルは、リソースが乏しい言語を含む多様な言語で最先端の性能を達成するか？

主な発見

• BiAtt-DPは、CoNLL 2006共有タスクにおいて中国語、チェコ語、オランダ語、ドイツ語、スペイン語、トルコ語で最先端の未ラベル付与スコア（UAS）を達成した。
• 英語では、以前に報告されたすべてのグラフベースのパーサーを上回り、優れた一般化性能を示した。
• 高リソース言語および低リソース言語を含む14言語すべてで競争力ある性能を発揮し、UASにおいて一貫した向上を示した。
• 一致目的は前方および後方解析方向間のアライメントの一貫性を顕著に向上させ、より頑健な予測を可能にした。
• 計算量はO(n²のまま維持され、長文であっても効率的なパーサー処理が可能になった。
• 加法的トークン埋め込み設計により、モデルパラメータ数が削減され、特に複数の言語的特徴が使用される場合の特徴統合が向上した。