[論文レビュー] Semantic Role Labeling as Dependency Parsing: Exploring Latent Tree Structures Inside Arguments

Yu Zhang, Qingrong Xia+4 more|arXiv (Cornell University)|Oct 13, 2021

Natural Language Processing Techniques参考文献 84被引用数 9

ひとこと要約

本論文では、平坦な意味論的引数スパンを潜在的部分木としてモデル化し、新しいスパン制約付きTreeCRFを用いて意味役割抽出（SRL）を依存構文解析に還元する手法を提案する。この手法は、内部的引数構造を明示的に捉え、グローバル最適化を可能にすることで、CoNLL05およびCoNLL12ベンチマークで最先端の性能を達成し、従来の構文に依存しないSRL手法をすべて上回る。

ABSTRACT

Semantic role labeling (SRL) is a fundamental yet challenging task in the NLP community. Recent works of SRL mainly fall into two lines: 1) BIO-based; 2) span-based. Despite ubiquity, they share some intrinsic drawbacks of not considering internal argument structures, potentially hindering the model's expressiveness. The key challenge is arguments are flat structures, and there are no determined subtree realizations for words inside arguments. To remedy this, in this paper, we propose to regard flat argument spans as latent subtrees, accordingly reducing SRL to a tree parsing task. In particular, we equip our formulation with a novel span-constrained TreeCRF to make tree structures span-aware and further extend it to the second-order case. We conduct extensive experiments on CoNLL05 and CoNLL12 benchmarks. Results reveal that our methods perform favorably better than all previous syntax-agnostic works, achieving new state-of-the-art under both end-to-end and w/ gold predicates settings.

研究の動機と目的

• 既存のSRL手法が内部的引数構造をモデル化できないという限界を是正すること。
• 引数スパンを潜在的部分木として扱うことで、スパンベースのSRLを依存構文解析に還元すること。
• 引数境界制約を強制し、引数内をまたぐ無効な依存関係を防ぐスパン制約付きTreeCRFを設計すること。
• 兄弟要因を組み込むことで2次元モデリングを拡張し、構造的認識を向上させること。
• 外部の構文的監督に依存せずに最先端の性能を達成すること。

提案手法

• 本手法は、述語-引数構造を部分的に観測された依存木としてモデル化し、引数スパンを潜在的部分木として扱う。
• 無効な依存関係や複数のヘッドを持つ構造を禁止するスパン制約付きTreeCRFを提案する。
• 動的計画法を用いて潜在的木構造全体のグローバル推論を実行し、学習時には観測されない部分木を周辺化する。
• 兄弟要因を組み込むことで2次元モデリングを拡張し、引数間の高階層依存関係を捉える。
• ゴールド構文木や外部言語知識を必要とせず、エンドツーエンドで学習可能なフレームワークを構築する。
• 本手法は、エンドツーエンドおよびゴールド述語設定の両方で、CoNLL05およびCoNLL12ベンチマーク上で学習・評価される。

実験結果

リサーチクエスチョン

• RQ1 平坦な引数スパンを潜在的部分木としてモデル化することで、内部構文構造を捉えることによりSRL性能が向上するか？
• RQ2 スパン制約付きTreeCRFは、依存構造を学習する中で引数境界制約を効果的に強制できるか？
• RQ3 兄弟要因を用いた2次元モデリングは、1次元手法に比べて測定可能な性能向上をもたらすか？
• RQ4 提案手法は外部構文的監督に依存せずに最先端の結果を達成できるか？
• RQ5 導出された依存木は、言語学的アノテーションと整合する妥当な構文的構造を示すか？

主な発見

• 提案手法は、エンドツーエンドおよびゴールド述語設定の両方で、CoNLL05およびCoNLL12ベンチマークで新たな最先端性能を達成した。
• スパン制約付きTreeCRFは、引数境界をまたぐ無効な依存関係や多重ヘッド構造を効果的に防止した。
• 兄弟要因を用いた2次元モデリングは、従来の1次元手法に比べて顕著な性能向上をもたらした。これは依存構文解析分野の先行研究と整合的である。
• 潜在的部分木モデリングにより、長距離依存の処理が向上し、グローバルな構造的一致性が向上した。
• 広範な分析から、導出された依存木が言語学的に妥当であり、人間によるアノテーションと整合することが確認された。
• 本手法は、すべての従来の構文に依存しないSRL手法を上回り、内部的引数構造の明示的モデリングの利点を示した。