[論文レビュー] Graph Convolution over Pruned Dependency Trees Improves Relation Extraction

Yuhao Zhang, Peng Qi+1 more|arXiv (Cornell University)|Sep 26, 2018

Topic Modeling被引用数 40

ひとこと要約

本論文は、依存関係構造を符号化するためにグラフ畳み込みネットワークを拡張し、関係抽出におけるパス中心の剪定戦略を導入する。これにより、木構造ベースのモデルに比べて著しく高速化しつつ、TACREDで最先端の結果を達成する。BiLSTMによる文脈化はさらに性能を向上させ、系列モデルとの相補的な強みを示す。

ABSTRACT

Dependency trees help relation extraction models capture long-range relations between words. However, existing dependency-based models either neglect crucial information (e.g., negation) by pruning the dependency trees too aggressively, or are computationally inefficient because it is difficult to parallelize over different tree structures. We propose an extension of graph convolutional networks that is tailored for relation extraction, which pools information over arbitrary dependency structures efficiently in parallel. To incorporate relevant information while maximally removing irrelevant content, we further apply a novel pruning strategy to the input trees by keeping words immediately around the shortest path between the two entities among which a relation might hold. The resulting model achieves state-of-the-art performance on the large-scale TACRED dataset, outperforming existing sequence and dependency-based neural models. We also show through detailed analysis that this model has complementary strengths to sequence models, and combining them further improves the state of the art.

研究の動機と目的

• 否定などの重要な情報を失うことなく、依存ツリーを活用して関係抽出を動機づけ、改善する。
• 任意の依存構造上で情報を効率的にプールするGCNベースのアーキテクチャを開発する。
• パス中心の剪定を導入し、無関係な情報を削除しつつ、有益なオフパス情報を保持する。
• GCN処理前にBiLSTMによる文脈化を加えることで堅牢性を高める。
• TACREDおよびSemEvalで最先端の結果を示し、系列モデルとの相補的な強みを分析する。

提案手法

• 依存グラフ上で自己ループと正規化されたメッセージ伝搬を用いて、グラフ畳み込みネットワークを拡張する。
• GCN層で文を符号化して単語表現を得た後、文へプールし、エンティティ表現と連結して分類に用いる。
• BiLSTMを介して入力をG CNの前に流し込むことで文脈化GCN（C-GCN）を追加する。
• パス中心の剪定を導入：最短依存パスbetween entitiesから距離Kのノードを保持する。Kは{0,1,2,∞}、K=1が最良の性能をもたらす。
• 強力な系列モデル（PA-LSTM）と確率補間により、GCN/C-GCNの性能をさらに改善する。
• TACREDとSemEvalデータセットで依存ベースモデルと系列モデルを比較し、F1、精度、再現率を報告する。

実験結果

リサーチクエスチョン

• RQ1 依存木上のグラフ畳み込みアプローチは、関係抽出の従来の依存ベース神経モデルを上回ることができるか。
• RQ2 剪定によってオフパス情報を取り入れることで、必須の情報を犠牲にすることなく頑健性と精度を改善できるか。
• RQ3 BiLSTMによるGCNの文脈化は、関係抽出の性能とパース誤差に対する頑健性を向上させるか。
• RQ4 依存ベースモデルは系列ベースモデルと補完的であり、それらを組み合わせると最先端の結果を得られるか。

主な発見

モデル	P	R	F1
LR	73.5	49.9	59.4
SDP-LSTM	66.3	52.7	58.7
Tree-LSTM	66.0	59.2	62.4
PA-LSTM	65.7	64.5	65.1
GCN	69.8	59.0	64.0
C-GCN	69.9	63.3	66.4
GCN + PA-LSTM	71.7	63.0	67.1
C-GCN + PA-LSTM	71.3	65.4	68.2

• GCNベースの関係抽出は、TACREDとSemEvalで従来の依存ベース神経モデルを上回る。
• 文脈化GCN（C-GCN）はGCNを上回る性能をさらに向上させ、TACREDで最先端の結果を達成する。
• K=1のパス中心剪定は最良のバランスを提供し、有益なオフパス情報を含めつつノイズを除去することで性能を向上させる。
• GCN/C-GCNをPA-LSTMと組み合わせると、どちらのモデル単独よりも高いF1を達成し、相補的な強みを示す。
• TACREDでは、GCNとC-GCNがベースラインを上回るF1を示し、C-GCNは単独で66.4（単一）およびPA-LSTM補間を用いた68.2を達成。
• SemEvalでは、C-GCNが84.8 F1/mで、76.5 F1/mを達成し、いくつかの依存ベースモデルを上回る。