[論文レビュー] Second-Order Semantic Dependency Parsing with End-to-End Neural Networks

Xinyu Wang, Jingxian Huang+1 more|arXiv (Cornell University)|Jun 19, 2019

Topic Modeling参考文献 22被引用数 5

ひとこと要約

本稿では、平均場変分推論またはループ付き信念伝播を用いて依存関係エッジ間の相互作用をモデル化し、再帰層として展開されたエンド・ツー・エンドのニューラル2次元意味的依存解析器を提案する。このモデルは最先端の性能を達成し、ドメイン内およびドメイン外のテストセットにおいてそれぞれ1.3%および1.4%のF1スコアの向上を達成しており、長文やリソースが限られた設定での向上幅が顕著である。

ABSTRACT

Semantic dependency parsing aims to identify semantic relationships between words in a sentence that form a graph. In this paper, we propose a second-order semantic dependency parser, which takes into consideration not only individual dependency edges but also interactions between pairs of edges. We show that second-order parsing can be approximated using mean field (MF) variational inference or loopy belief propagation (LBP). We can unfold both algorithms as recurrent layers of a neural network and therefore can train the parser in an end-to-end manner. Our experiments show that our approach achieves state-of-the-art performance.

研究の動機と目的

• 意味的依存解析における有効な2次元モデリングの欠如に対処すること。
• 推論を逆伝播可能にするために、バックプロパゲーションによる勾配最適化が可能な高次元意味的依存解析器のエンド・ツー・エンド学習を可能にすること。
• 特に長文やリソースが限られた設定での解析精度の向上を図ること。
• 変分推論と信念伝播を用いて、ニューラルグラフベース解析を2次元依存関係に拡張すること。

提案手法

• 単語および品詞タグの埋め込みを文脈的表現に変換するためにBiLSTMを用いる。
• 一階のエッジとラベルを独立してスコアリングするために、バイアフィンおよびトライリニア関数を採用する。
• 兄弟、共通親、祖父母といった2次部分を導入し、エッジ相互作用にトライリニアスコアリングを適用する。
• 平均場変分推論とループ付き信念伝播を近似推論として再帰層として展開する。
• ゴールの解析木尤度を最大化するために、勾配ベース最適化を用いて全モデルをエンド・ツー・エンドで学習する。
• エッジ存在性とエッジラベルリングの2つの並列ヘッドを共有エンコーダで処理する。

実験結果

リサーチクエスチョン

• RQ1 2次元依存関係解析は意味的依存解析の精度を向上させ得るか？
• RQ2 MF や LBP といった近似推論アルゴリズムが、ニューラルネットワーク内で微分可能な再帰層として効果的に展開可能か？
• RQ3 2次元意味的解析器のエンド・ツー・エンド学習は、1次元または微分不能なアプローチよりも優れた性能を発揮するか？
• RQ4 前向きな手法と比較して、リソースが限られた状況や長文条件下でのモデルの性能はいかがなものか？
• RQ5 2次部分のトライリニアスコアリングは、1次エッジを越えた意味的・構文的相互作用を的確に捉えられるか？

主な発見

• 提案手法はドメイン内およびドメイン外の両テストセットで最先端の性能を達成した。
• 前回の最先端モデルと比較して、ドメイン内テストセットでは1.3%、ドメイン外テストセットでは1.4%のF1スコア向上を達成した。
• 長文やリソースが限られた設定において、ベースラインより顕著な向上を示した。
• MF および LBP を用いたエンド・ツー・エンドで微分可能な推論により、解析意思決定を効果的に逆伝播可能にした。
• 2次元モデリングは、複雑または希少な構文的構造においても一貫した改善をもたらした。
• 1次元ベースラインと比較して、ドメイン内およびドメイン外の両設定で、それぞれ0.3%および0.4%のF1スコア向上を達成した。