[論文レビュー] Second-Order Neural Dependency Parsing with Message Passing and End-to-End Training

Xinyu Wang, Kewei Tu|arXiv (Cornell University)|Oct 10, 2020

Topic Modeling参考文献 32被引用数 16

ひとこと要約

本稿では、メッセージパッシングとエンド・ツー・エンド学習を用いた2次元グラフベースのニューラル依存解析器を提案し、英語および中国語のツリークランクで最先端の性能を達成するとともに、従来の2次元アプローチよりも顕著に高速化されている。BERT埋め込みを用いても2次元デコードが依然として有益であることが示され、強力な文脈的表現下でもヘッド選択制約は限定的な利点にとどまることを示している。

ABSTRACT

In this paper, we propose second-order graph-based neural dependency parsing using message passing and end-to-end neural networks. We empirically show that our approaches match the accuracy of very recent state-of-the-art second-order graph-based neural dependency parsers and have significantly faster speed in both training and testing. We also empirically show the advantage of second-order parsing over first-order parsing and observe that the usefulness of the head-selection structured constraint vanishes when using BERT embedding.

研究の動機と目的

• 既存のニューラルアプローチよりも精度と効率性を向上させる2次元グラフベースの依存解析器を開発すること。
• BERTのような強力な文脈的埋め込みを用いる場合でも、2次元デコードが依然として有用であるかどうかを調査すること。
• 異なる埋め込み環境下における、1次元および2次元解析におけるヘッド選択構造的制約の影響を評価すること。
• メッセージパッシングに基づく2次元解析と、既存の1次元および2次元ニューラル解析器との間で、性能および速度を比較すること。

提案手法

• 本稿では、エッジの存在を独立して扱うSingleアプローチと、各語に対して離散的確率変数を導入してヘッド選択を強制するLocalアプローチの2つの2次元解析アプローチを提案している。
• ループのないBelief Propagationに代わり、Mean Field Variational Inference (MFVI) を用いた近似推論を採用することで、より高速かつ同等の精度のデコードが可能になった。
• エッジスコアのためのバイアフィンスコアラーを採用し、テスト時における有効な解析木を保証するための微分可能なMST推論ステップを適用している。
• Localアプローチでは、各語ごとにヘッド選択を表す離散変数を定義することでヘッド選択制約を組み込み、メッセージパッシングの定式化を変更している。
• エッジおよびラベル予測のバランスをとるための修正された損失関数を用い、わずかな補間ハイパーパrameterを導入することで、精度を向上させている。
• モデルはBiLSTM や BERT といった現代的なニューラルエンコーダーと互換性があり、語ごとに並列化可能であるため、逐次的手法と比較して時間計算量を削減している。

実験結果

リサーチクエスチョン

• RQ1 BERT などの強力な文脈的埋め込みを用いる場合でも、2次元デコードが性能向上に寄与するのか。
• RQ2 1次元および2次元ニューラル依存解析におけるヘッド選択構造的制約は、解析精度にどのように影響を与えるか。
• RQ3 メッセージパッシングに基づく2次元解析は、従来の最先端手法と比較して、競争力のある精度を達成するとともに、より高速な学習および推論を実現できるか。
• RQ4 異なる言語および埋め込みタイプにおいて、LocalおよびSingleアプローチの相対的性能はどのように変化するか。

主な発見

• Local2Oモデルは、英語のPTBおよび中国語のCTBツリークランクで最先端の性能を達成し、最近のSOTAモデルと同等またはそれを上回っている。
• BERT埋め込みを用いる場合、Single2OモデルはCTBで最高の精度を達成したが、PTBではLocal2Oが最良の性能を示しており、アプローチの優位性が文脈に依存することを示している。
• BERT埋め込みを用いても2次元デコードは1次元解析を一貫して上回っており、強力な文脈的表現下でも高次元情報が依然として有益であることが示された。
• ヘッド選択制約は限定的な利点にとどまり、特にBERTを用いる場合、より良い損失設計とハイパーパramータチューニングにより、制約なしのモデルでもその精度を上回るか同等の性能を達成できる。
• 提案手法は、従来の2次元パーサーよりも顕著に高速である：Zhang et al. (2020) より学習で2.4倍、推論で2.9倍高速であり、同じハードウェア上ではGNNより1.2倍と2.3倍高速である。
• 提案手法の2次元デコーダーの時間計算量はO(n³)であるが、Zhang et al. (2020) の逐次的デコーディングとは異なり、並列化が可能であり、これが速度優位性の要因となっている。