[論文レビュー] Encoding Syntactic Constituency Paths for Frame-Semantic Parsing with Graph Convolutional Networks

Emanuele Bastianelli, Andrea Vanzo+1 more|arXiv (Cornell University)|Nov 26, 2020

Topic Modeling参考文献 47被引用数 9

ひとこと要約

本稿では、文法的構成木経路を符号化するためのグラフ畳み込みネットワーク（GCN）ベースの手法を提案する。構文的構成要素の表現を文法規則から学び、経路特徴を用いて単語表現を強化する。FrameNet 1.5 において、ターゲット認識（TI）で約1%、意味的役割ラベル付け（SRL）で約3.5%のSOTA向上を達成し、BERTを用いることでさらに+2.5%の向上が得られる。CoNLL-2005 においても競争力ある性能を維持する。

ABSTRACT

We study the problem of integrating syntactic information from constituency trees into a neural model in Frame-semantic parsing sub-tasks, namely Target Identification (TI), FrameIdentification (FI), and Semantic Role Labeling (SRL). We use a Graph Convolutional Network to learn specific representations of constituents, such that each constituent is profiled as the production grammar rule it corresponds to. We leverage these representations to build syntactic features for each word in a sentence, computed as the sum of all the constituents on the path between a word and a task-specific node in the tree, e.g. the target predicate for SRL. Our approach improves state-of-the-art results on the TI and SRL of ~1%and~3.5% points, respectively (+2.5% additional points are gained with BERT as input), when tested on FrameNet 1.5, while yielding comparable results on the CoNLL05 dataset to other syntax-aware systems.

研究の動機と目的

• ニューラルモデルに構文的構成木情報を取り入れることで、フレーム意味解析の性能を向上させること。
• 文法規則の識別子に基づいて初期化されたGCNを用いて、構造的構成要素表現を学ぶこと。
• 単語からタスク固有のノード（例：SRLにおける目的語述語）までの経路に沿って、構成要素表現の和として計算される構文的経路特徴を、単語レベルの表現に統合すること。
• ターゲット認識（TI）、フレーム認識（FI）、意味的役割ラベル付け（SRL）というフレーム意味解析の3つのサブタスクを網羅的に評価すること。
• 本手法がFrameNet 1.5 および CoNLL-2005 の両データセットにおいて汎用的かつ効果的であることを示すこと。

提案手法

• 各ノードが句構造的構成要素を表す有向構成木グラフ上でGCNを学習し、各ノードはその文法規則（例：VP → VBD VP）に対応する学習済み埋め込みで初期化される。
• ノード表現は、複数のGCN層にわたって隣接ノードの特徴を集約するメッセージパッシングにより更新される。
• 各単語に対して、その単語からタスク固有のノード（例：SRLにおけるターゲット述語）までの経路上に存在するすべての構成要素の表現の和として、構文的経路特徴が構築される。
• これらの経路特徴は、BERT や単語埋め込みからの単語レベル表現と連結され、系列ラベル付けモデルの入力が強化される。
• 各タスク（TI, FI, SRL）に対して交差エントロピー損失を用いて、エンドツーエンドでモデルを訓練する。
• 各GCN層で1つの重み行列を用いることで、従来のGCNベースの構文モデルと比較してパラメータ数を削減する。

実験結果

リサーチクエスチョン

• RQ1 構成木ベースの構文的経路特徴は、フレーム意味解析タスクの性能向上に寄与するか？
• RQ2 文法規則の識別子に基づいて初期化されたGCNにより、構成要素表現を学習することで、ランダムまたは単語のみによる初期化に比べてより良い構文モデリングが達成できるか？
• RQ3 提案手法の経路特徴統合は、従来の構文に注意を向けるモデルと比較して、性能およびパラメータ効率の面で優れているか？
• RQ4 本手法は、FrameNet 1.5 や CoNLL-2005 のような異なるデータセットにどの程度一般化可能か？
• RQ5 BERT などの文脈的埋め込みと組み合わせることで、本手法の性能をさらに向上させることができるか？

主な発見

• 本手法は、FrameNet 1.5 におけるターゲット認識（TI）で、前回のSOTAと比較して+1.0%の絶対的向上を達成した。
• 意味的役割ラベル付け（SRL）では+3.5%の絶対的向上を達成し、BERTを入力として用いることでさらに+2.5%の向上が得られた。
• 構成木の複雑さが高いため、CoNLL-2005 データセットにおいても、他の構文に注意を向けるシステムと同等の競争力ある性能を維持した。
• 各GCN層で1つの重み行列を用いることで、パラメータ効率が向上した（従来の手法が6つの行列を必要としていたのと対照的）。
• 文法規則に基づく初期化により、GCNはよりコンactかつ意味のある構成要素表現を学習できるようになった。
• 経路ベースの特徴統合機構により、構文的構造が単語表現に効果的に伝達され、特にSRLおよびTIのタスクで利益をもたらした。