[論文レビュー] Contextualised Graph Attention for Improved Relation Extraction

Angrosh Mandya, Danushka Bollegala+1 more|arXiv (Cornell University)|Apr 22, 2020

Topic Modeling参考文献 23被引用数 5

ひとこと要約

本稿では、依存木から導出された複数の部分グラフを活用し、従来のグラフアテンションネットワーク（GAT）に依存関係の種別やエンティティタイプといったエッジ特徴を組み合わせることで、関係抽出の性能を向上させる文脈的グラフアテンションネットワーク（c+gat+mg+dref）を提案する。このモデルは、SemEval 2010 Task 8ベンチマークで86.3の最先端F1スコアを達成し、単一の大規模グラフに起因するノイズの低減とノード表現学習・アテンションの集中化を実現することで、従来のグラフベース手法を上回る性能を発揮した。

ABSTRACT

This paper presents a contextualized graph attention network that combines edge features and multiple sub-graphs for improving relation extraction. A novel method is proposed to use multiple sub-graphs to learn rich node representations in graph-based networks. To this end multiple sub-graphs are obtained from a single dependency tree. Two types of edge features are proposed, which are effectively combined with GAT and GCN models to apply for relation extraction. The proposed model achieves state-of-the-art performance on Semeval 2010 Task 8 dataset, achieving an F1-score of 86.3.

研究の動機と目的

• 単一の大規模グラフが引き起こすノイズやモデルの注目力の低下という課題を解消することで、関係抽出の性能を向上させること。
• 依存解析木とターゲットエンティティの位置情報を用いた新しい部分グラフ構築手法を開発し、焦点を当てた文脈的に関連のあるグラフセグメントを生成すること。
• 特に依存関係の種別（例：nsubj, dobj）とエンティティタイプ情報（例：person-organization）を含むエッジ特徴をGATに統合し、アテンション重み付けと表現学習を強化すること。
• GCNおよびGATベースの関係抽出モデルにおいて、複数の部分グラフが単一グラフを上回ることを実証的に検証すること。
• 関係抽出のためのSemEval 2010 Task 8ベンチマークデータセットで最先端の性能を達成すること。

提案手法

• ターゲットエンティティ間の最短依存パス（SDP）に沿って頂点を選択し、それらに接続された一次の子頂点を含めることで、1つの依存木から複数の部分グラフを抽出する。
• ターゲットエンティティの位置を用いて、文脈的に関連のある明確なグラフセグメントを定義する、新しい部分グラフ分割戦略を導入する。
• 2種類のエッジ特徴を導入：依存関係の種別（例：nsubj, dobj）とエンティティタイプペア（例：person-organization）、これらをノード特徴と連結する。
• GATモデルは隣接ノード間のアテンション重みを計算し、エッジ特徴をアテンションメカニズムに組み込むことで、関連性推定の精度を向上させる。
• 各エンティティの最終的表現は、部分グラフ間で学習可能なアテンションメカニズムを用いて複数の部分グラフからの特徴を集約することで得られる。
• SemEval 2010データセット上で、エアリー・ストッピングとAdam最適化を用いたクロスエントロピー損失により、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 1つの依存木から導出された複数の部分グラフを用いることで、単一の大規模グラフを用いる場合に比べ、関係抽出の性能が向上するか？
• RQ2 GATのアテンションメカニズムに依存関係の種別とエンティティタイプ特徴を統合することで、関係分類の性能が向上するか？
• RQ3 SemEval 2010テストセットにおける異なるスパン長（短い、中程度、長い）において、提案モデルの性能はどのように変化するか？
• RQ4 複数の部分グラフの使用が、GCNおよびGATモデルにおけるノイズの多い大規模グラフの悪影響を軽減するか？
• RQ5 関係抽出において最適なグラフサイズ（頂点の深さの観点から）は何か？ そして、それがモデル性能にどのように影響するか？

主な発見

• 提案されたc+gat+mg+drefモデルは、SemEval 2010 Task 8ベンチマークで86.3の最先端F1スコアを達成し、以前の最先端モデルを上回った。
• 短いスパンにおいては10.8ポイントのF1スコア上昇が観察され、複数の部分グラフを用いたモデルは、すべてのスパン長において単一グラフモデルを一貫して上回った。
• エッジ特徴（依存関係の種別とエンティティタイプ）の統合により性能が著しく向上し、フルモデル（c+gat+mg+ctef+dref）は86.3のF1スコアを達成した。
• 一次の子頂点を超えてグラフサイズが拡大するにつれ性能が低下したため、遠く離れたノードはノイズを加え、モデルの有効性を低下させることが示された。
• c+gat+mg+drefモデルは86.3のF1スコアを達成し、C-AGGCNモデル（85.7 F1）およびC-GCNモデル（84.8 F1）を上回った。これは、複数の部分グラフアプローチの優位性を裏付けた。
• エッジ特徴がなくても、複数の部分グラフを用いたモデルは単一グラフモデルよりも高いF1スコアを達成しており、部分グラフセグメンテーション自体の利点が明確に示された。