[論文レビュー] Deep Biaffine Attention for Neural Dependency Parsing

Timothy Dozat, Christopher D. Manning|arXiv (Cornell University)|Nov 4, 2016

Natural Language Processing Techniques被引用数 551

ひとこと要約

この論文は、双方向LSTMと広範な正則化を用いたグラフベースのニューラル依存解析器において、深層双線形アテンション機構を提案する。英語PTBデータセットにおいて95.7%のUASと94.1%のLASを達成し、先行するグラフベースの解析器よりもそれぞれ1.8%と2.2%優れており、最も優れた遷移ベースのモデルと同等の性能を発揮した。

ABSTRACT

This paper builds off recent work from Kiperwasser & Goldberg (2016) using neural attention in a simple graph-based dependency parser. We use a larger but more thoroughly regularized parser than other recent BiLSTM-based approaches, with biaffine classifiers to predict arcs and labels. Our parser gets state of the art or near state of the art performance on standard treebanks for six different languages, achieving 95.7% UAS and 94.1% LAS on the most popular English PTB dataset. This makes it the highest-performing graph-based parser on this benchmark---outperforming Kiperwasser Goldberg (2016) by 1.8% and 2.2%---and comparable to the highest performing transition-based parser (Kuncoro et al., 2016), which achieves 95.8% UAS and 94.6% LAS. We also show which hyperparameter choices had a significant effect on parsing accuracy, allowing us to achieve large gains over other graph-based approaches.

研究の動機と目的

• より深い、より正則化されたアーキテクチャを用いて、グラフベースのニューラル依存解析の性能を向上させること。
• 従来のアテンションベースの解析器の限界を克服するため、アークとラベル予測に二重線形分類器を導入すること。
• 6つの多様な言語において、最先端またはほぼ最先端の結果を達成すること。
• パフォーマンスに顕著な影響を与えるハイパーパrameterの選択を特定し、体系的な性能向上を可能にすること。

提案手法

• 入力文を文脈に応じた表現に変換するために、双方向LSTMを用いる。
• 依存アークとその対応するラベルを同時に予測するため、二重線形スコア関数を用いる。
• より深いネットワークにおける過学習を防ぐために、広範な正則化技術を適用する。
• 表現学習の向上を図るため、複数層を有する深層アーキテクチャを統合する。
• 最高スコアの依存木を選択する、グラフベースのデコード戦略を統合する。
• 依存解析の構造的予測損失を用いて、モデルをエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 双線形アテンションを備えた、より深い、より正則化されたグラフベースの解析器は、従来の最先端モデルを上回る性能を発揮できるか？
• RQ2 このアーキテクチャにおいて、パーサー精度に最も顕著な影響を与えるハイパーパrameterの選択は何か？
• RQ3 提案されたモデルは、複数の言語において、最先端のグラフベースおよび遷移ベースの解析器と比較してどのように差をつけるか？
• RQ4 双線形アテンションは、ニューラル依存解析におけるアークとラベルの同時予測をどの程度向上させるか？

主な発見

• 提案されたパーサーは、英語PTBデータセットにおいて95.7%のUASと94.1%のLASを達成し、グラフベースのパーサーとして新たな最先端を記録した。
• Kiperwasser & Goldberg (2016) よりもUASで1.8%、LASで2.2%優れており、顕著な性能向上を示した。
• 最高性能を示した遷移ベースのパーサー（Kuncoro et al., 2016）と同等の性能を発揮し、95.8%のUASと94.6%のLASを達成した。
• ハイパーパrameterチューニング、特に正則化とネットワークの深さの選択が、パーサー精度に顕著な影響を与え、従来のグラフベースのアプローチよりも顕著な改善を可能にした。