[論文レビュー] Attention Guided Graph Convolutional Networks for Relation Extraction

Zhijiang Guo, Yan Zhang+1 more|arXiv (Cornell University)|Jun 18, 2019

Topic Modeling参考文献 42被引用数 82

ひとこと要約

AGGCNは、マルチヘッドアテンションと密結合を用いて全依存木上でソフトプルーニングを学習し、cross-sentence n-aryおよび sentence-levelタスクにおける関係抽出を改善する。複数のベンチマークで最先端の結果を達成。

ABSTRACT

Dependency trees convey rich structural information that is proven useful for extracting relations among entities in text. However, how to effectively make use of relevant information while ignoring irrelevant information from the dependency trees remains a challenging research question. Existing approaches employing rule based hard-pruning strategies for selecting relevant partial dependency structures may not always yield optimal results. In this work, we propose Attention Guided Graph Convolutional Networks (AGGCNs), a novel model which directly takes full dependency trees as inputs. Our model can be understood as a soft-pruning approach that automatically learns how to selectively attend to the relevant sub-structures useful for the relation extraction task. Extensive results on various tasks including cross-sentence n-ary relation extraction and large-scale sentence-level relation extraction show that our model is able to better leverage the structural information of the full dependency trees, giving significantly better results than previous approaches.

研究の動機と目的

• ハードプリuningを用いず、依存木情報を関係抽出においてより効果的に活用する動機付け。
• 全依存木上のエッジ重みを端から端まで学習するモデルを提案し、情報の取り込みと排除のバランスを取る。
• 密結合を活用してより深いグラフ表現を可能にしつつ、効率的な学習を維持する。
• cross-sentence n-ary 関係抽出および大規模な sentence-level 抽出タスクで最先端の性能を実証する。

提案手法

• 依存木をマルチヘッド自己注意を用いてエッジ重み付きの完全連結グラフに変換し、注意ガイド付き隣接行列を作成する。
• 密結合を用いて、パラメータ効率良く、情報を多くのホップにわたって伝播するより深いグラフ畳み込みネットワークを構築する。
• 各AGGCNブロックで、注意ガイド付きの密結合層を用いて処理し、出力を線形結合層を通じて結合する。
• トークン表現を最大プーリングで集約して文とエンティティの表現を得、これを結合してFFNNを通して最終的な関係分類を行う。
• 学習をエンドツーエンドで行いながら、基底の構造情報を保持するために初期の隣接を初期値として維持する。

実験結果

リサーチクエスチョン

• RQ1 アテンションによるソフトプルーニングは、全依存木の中で関係抽出に関連するサブ構造を効果的に特定できるか？
• RQ2 密結合GCNはプ pruning なしでより深いグラフからの効果的な学習を可能にし、非局所的な依存モデリングを改善するか？
• RQ3 プルーニングされた木のGCNや他のベースラインと比較して、cross-sentence n-ary 関係抽出および大規模な sentence-level 関係抽出においてAGGCNはどの程度の性能を示すか？
• RQ4 注意ガイド付き層と密結合が全体の性能にどのように寄与するか（アブレーション分析）？

主な発見

• AGGCNはcross-sentence n-ary関係抽出で最先端の結果を達成し、多クラスの三値抽出と二値抽出でそれぞれ精度を8%および6%上回る。
• TACREDの sentence-level データセットでは、C-AGGCN（biLSTM付き）が 69.0 F1 を達成し、ベースラインの C-GCN を上回り、いくつかの依存ベース手法にほぼ近づくまたは上回る。
• C-AGGCNは、プルーニングされた木を用いたGCNベースのモデルを一貫して上回り、ソフトプルーニングと密結合を組み合わせた全木情報の利点を示している。
• アブレーション研究は、注意ガイド付き層と密結合の両方が性能向上に寄与することを示し、注意成分が大幅な改善をもたらし、フィードフォワード層も性能向上に寄与する。