[論文レビュー] Parsing All: Syntax and Semantics, Dependencies and Spans

Junru Zhou, Zuchao Li+1 more|arXiv (Cornell University)|Aug 30, 2019

Topic Modeling参考文献 51被引用数 4

ひとこと要約

本稿では、スパンと従属関係表現を用いて構文と意味を統合的に解析するための統一的で共同学習に基づくモデルを提案する。このモデルは、構文的および意味的解析の間で双方向の恩恵をもたらす多タスク学習を活用する。標準的なベンチマーク上での4つのタスク（スパンおよび従属関係的意味的役割ラベリング（SRL）、構成的および従属関係的構文解析）において、最先端または競争力のある結果を達成する。

ABSTRACT

Both syntactic and semantic structures are key linguistic contextual clues, in which parsing the latter has been well shown beneficial from parsing the former. However, few works ever made an attempt to let semantic parsing help syntactic parsing. As linguistic representation formalisms, both syntax and semantics may be represented in either span (constituent/phrase) or dependency, on both of which joint learning was also seldom explored. In this paper, we propose a novel joint model of syntactic and semantic parsing on both span and dependency representations, which incorporates syntactic information effectively in the encoder of neural network and benefits from two representation formalisms in a uniform way. The experiments show that semantics and syntax can benefit each other by optimizing joint objectives. Our single model achieves new state-of-the-art or competitive results on both span and dependency semantic parsing on Propbank benchmarks and both dependency and constituent syntactic parsing on Penn Treebank.

研究の動機と目的

• 従来の研究が主に構文が意味解析を支援する一方で、逆の流れには焦点を当てていない、構文的および意味的解析の間における双方向的相互作用のギャップを埋めること。
• 構文と意味の両方のタスクにおいて、スパンおよび従属関係表現の共同学習を検討すること。これは、従来の研究で十分に掘り広げられていない分野である。
• 構文的構造（共同スパンを介して）と意味的構造（SRL制約を介して）を統合する一貫性のある表現フレームワークを設計し、エンドツーエンドの学習を可能にすること。
• 意味解析が構文解析を改善できるかどうか、逆に構文解析が意味解析を改善できるかどうかを、従来の単方向の情報伝達とは異なり、実証的に検証すること。
• テスト時における外部解析の監視に依存せずに、意味的および構文的解析タスクの両方で最先端の性能を達成すること。

提案手法

• ヘッド駆動型フレーズ構造文法（HPSG）に基づく新規な「共同スパン」構造を導入し、フレーズ構造と主語・従属語のアーキテクチャを同時に符号化することで、構成的および従属関係的情報を統合する。
• SRL制約を用いて正確な推論を強制し、トレーニングを簡素化する統一されたSRL表現を提案する。この表現は、スパンおよび従属関係的SRLの両方へ適用可能である。
• 構文的および意味的解析の両方を同時に最適化できるバランスの取れた目的関数を用いた多タスク学習を採用し、双方向の情報伝達を可能にする。
• 神経ネットワークエンコーダーを用い、構文的情報を効果的に統合する。従属関係およびスパン構造は、共有およびタスク固有のヘッドを介して同時にモデル化される。
• パーサーとは別に、従属関係ラベルのためのマルチクラス分類器を訓練し、スパンおよび従属関係構造の予測の両方を最適化する。
• 事前学習された文脈表現（例：BERTに類似）を適用し、テスト時の補助解析を必要とせず、すべてのタスクで性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 意味解析が構文解析の性能を向上させることができるか。これは、通常は構文の監視が意味解析にのみ影響を与えるという単方向の流れを逆転させるものである。
• RQ2 構文と意味の両方のタスクにおいて、スパンおよび従属関係表現を共同でモデリングすることで、どの程度の恩恵が得られるか。
• RQ3 スパンおよび従属関係的SRLのための統一された表現は、別々のモデルと比較して一般化性能および性能向上に寄与するか。
• RQ4 1つのモデルが、テスト時の外部解析の監視に依存せずに、構文的および意味的解析タスクの両方で最先端の結果を達成できるか。
• RQ5 HPSGにインspiredされた共同スパン構造は、統一フレームワーク内で構成的および従属関係的関係をどのように改善するか。

主な発見

• 提案された共同モデルは、CoNLL-2005およびCoNLL-2009ベンチマークを用いたスパンおよび従属関係的SRLタスクで、テスト時の解析注入を一切行わずに、新たな最先端性能を達成した。
• Penn Treebankを用いた構成的および従属関係的解析タスクにおいても、競争力のある結果を示し、構文解析のさまざまな形式にわたる強力な一般化能力を示した。
• エンドツーエンドモードでは、テスト時に予測された解析を用いない状態でも、スパンSRLのドメイン内（WSJ）およびドメイン外（Brown）のテストセットにおいて、以前の最先端手法（Strubell et al., 2018）を上回った。
• CoNLL-2009のエンドツーエンドおよび与えられた動詞モードにおいて、依存関係的SRLで新たな最先端性能を達成し、統一されたSRL表現の有効性を確認した。
• アブレーションスタディの結果、共同学習が意味的および構文的解析両方の性能向上に寄与し、4つのタスクすべてで相互的な利点が観察された。
• 事前学習された文脈表現の統合により、追加の外部解析を必要とせず、すべての設定で最先端の性能が向上した。