[論文レビュー] Dependency Parsing as MRC-based Span-Span Prediction

Leilei Gan, Yuxian Meng+5 more|arXiv (Cornell University)|May 17, 2021

Natural Language Processing Techniques被引用数 5

ひとこと要約

本論文は、トークン同士の関係ではなく、スパン同士の関係をモデル化する、新しい依存解析フレームワークを提案する。スパンリンクを機械的読解（MRC）タスクとして定式化することで、2段階のアプローチ（スパン提案 → MRCに基づくスパンリンク）を採用し、PTB、CTB、Universal Dependenciesベンチマークで最先端の性能を達成した。長距離依存関係や欠落したスパンの処理において優れた性能を示した。

ABSTRACT

Higher-order methods for dependency parsing can partially but not fully address the issue that edges in dependency trees should be constructed at the text span/subtree level rather than word level. In this paper, we propose a new method for dependency parsing to address this issue. The proposed method constructs dependency trees by directly modeling span-span (in other words, subtree-subtree) relations. It consists of two modules: the {\it text span proposal module} which proposes candidate text spans, each of which represents a subtree in the dependency tree denoted by (root, start, end); and the {\it span linking module}, which constructs links between proposed spans. We use the machine reading comprehension (MRC) framework as the backbone to formalize the span linking module, where one span is used as a query to extract the text span/subtree it should be linked to. The proposed method has the following merits: (1) it addresses the fundamental problem that edges in a dependency tree should be constructed between subtrees; (2) the MRC framework allows the method to retrieve missing spans in the span proposal stage, which leads to higher recall for eligible spans. Extensive experiments on the PTB, CTB and Universal Dependencies (UD) benchmarks demonstrate the effectiveness of the proposed method. The code is available at \url{https://github.com/ShannonAI/mrc-for-dependency-parsing}

研究の動機と目的

• トークンレベルの依存解析の根本的限界に対処する。ここでは、エッジが単語同士の関係としてモデル化されるが、これは木構造の部分木レベルの関係を捉えていない。
• グラフベースのモデルがトークンペア間の依存エッジを扱うが、真の部分木レベルの依存関係を捉えられていないという不十分さを克服する。
• リンク段階で見逃されたスパンを検索可能にする仕組みを導入することで、有効なスパンのリコールを向上させる。
• 最先端のMRCモデルの表現力を利用し、スパンリンクの性能を向上させる。
• 特に長文や長距離依存関係において、トークン同士のモデル化ではなくスパン同士のモデル化が優れていることを実証する。

提案手法

• 2モジュールフレームワークを提案する：(1) 潜在的な部分木を表す候補スパン（ルート、開始、終了）を生成するテキストスパン提案モジュール。
• スパンリンクモジュールを機械的読解（MRC）タスクとして定式化し、1つのスパンをクエリとして、その親スパンまたは子スパンを検索する。
• 事前学習済みMRCモデル（例：BERT）を用い、クエリスパンとコンテキストの関係に基づいて最も関連性の高いスパンをスコア付け・抽出する。
• スコア関数内で子スパンから親スパン、および親スパンから子スパンへの関係をモデル化する相互依存モジュールを統合する。
• クエリスパンと答えスパンの両方のスパンベース表現を組み合わせたスコア関数を設計し、エンドツーエンドの学習を可能にする。
• 予測されたリンクから最終的な依存木を構築するため、微分可能なスパンツリー復元戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 トークン同士の関係ではなく、スパン（部分木）同士の関係をモデル化することで、より良い解析性能が得られるか？
• RQ2 標準的なスパン提案手法と比較して、MRCを用いてスパンリンクを定式化することで、リコールとロバスト性がどの程度向上するか？
• RQ3 本手法は、トークンレベルのベースラインと比較して、長距離依存関係や長スパンをどのように処理するか？
• RQ4 スコア関数内の各コンポonent（例：トークン同士 vs. スパン同士）が全体の性能に与える寄与度はいかほどか？
• RQ5 MRCに基づくリンク段階は、提案段階で見逃されたスパンを効果的に回復できるか？

主な発見

• 本手法は、PTB、CTB、Universal Dependencies（UD）ベンチマークで、新しい最先端性能を達成した。PTBのテスト・デベロップメントでは、UASが97.18、LASが95.43を記録した。
• スパンリンク段階は、特にスパン提案モジュールが有効なスパンを見逃した場合に、スパンリコールを顕著に向上させ、候補スパン数が少ない状況でも高い性能を維持した。
• スコア関数からスパンベースのコンポonentを削除すると、性能に顕著な低下が生じた：トークンクエリ／トークンアンサーの組み合わせではUASが0.57低下、LASが0.34低下した。
• 長文（長さ＞50）では、Biaffineパーサーの性能が0.97から0.964に急激に低下するのに対し、本手法は安定した性能を維持した。
• 長距離の依存関係や長い部分木スパンにおいて、特に本手法の優位性が顕著であり、複雑な句構造に対してスパンレベルのモデル化がより効果的であることが確認された。
• 相互依存モジュールにより、双方向の関係を捉えることができ、これを削除するとUASが0.06、LASが0.06低下した。