[論文レビュー] MrGCN: Mirror Graph Convolution Network for Relation Extraction with Long-Term Dependencies.

Xiao Guo, I-Hung Hsu+3 more|arXiv (Cornell University)|Jan 1, 2021

Topic Modeling参考文献 31被引用数 9

ひとこと要約

MrGCNは、長文ディスcourseにおける関係抽出を向上させるために、受容 field を拡大しつつトークンレベルの予測を保持するための、プーリング・アンプーリング構造を備えたミラー・グラフ畳み込みネットワークを提案する。グラフプーリングに依存関係関係に基づく新しいプーリング手法「Clause Matching」を導入し、ディスコースレベルのREデータセットで最先端の性能を達成した。特に、長期依存関係モデリングにおいて優れた効果を示した。

ABSTRACT

The ability to capture complex linguistic structures and long-term dependencies among words in the passage is essential for relation extraction (RE) tasks. Graph neural networks (GNNs), one of the means to encode dependency graphs, have been shown to be effective in prior works. However, relatively little attention has been paid to receptive fields of GNNs, which can be crucial for tasks with extremely long text that requires discourse understanding. In this work, we leverage the idea of graph pooling and propose the Mirror Graph Convolution Network, a GNN model with a pooling-unpooling structure tailored to RE tasks. The pooling branch reduces the graph size and enables the GNN to obtain larger receptive fields within fewer layers; the unpooling branch restores the pooled graph to its original resolution for token-level RE tasks. Experiments on two discourse-level relation extraction datasets demonstrate the effectiveness of our method, showing significant improvements over prior methods especially when modeling long-term dependencies is necessary. Moreover, we propose Clause Matching (CM), a novel graph pooling method that merges nodes based on dependency relations in graph. CM can largely reduce the graph size while retaining the main semantics of the input text.

研究の動機と目的

• グラフニューラルネットワークを用いたディスコースレベルの関係抽出において、長期依存関係をモデル化する課題に対処すること。
• モデルの深さや計算コストを増加させずに、GNNにおける受容 field のカバー範囲を拡大すること。
• グラフ圧縮後に微細なトークンレベルの表現を保持し、正確な関係予測を実現すること。
• 文法的依存関係を利用することで、意味的整合性を保持する新しいグラフプーリング戦略の開発

提案手法

• MrGCNはプーリング・アンプーリング構造を採用する：プーリングブランチはグラフサイズを縮小して受容 field を拡大し、アンプーリングブランチは元の解像度にグラフを回復させることでトークンレベルの予測を実現する。
• Clause Matching (CM) は、依存関係に基づいてノードをマージするグラフプーリング手法として導入され、グラフサイズを縮小しつつも主要な意味的構造を保持する。
• プーリングブランチはCMを用いて依存関係グラフを圧縮し、少ないレイヤーでより深い文脈的理解を可能にする。
• アンプーリングブランチは、学習されたアテンションまたは類似アテンション機構を用いて、元のノード数にグラフを再構築し、局所的表現を回復する。
• モデルは、グラフ全体とアンプーリングを介したメッセージパッシングを統合し、関係分類のためのノード埋め込みを精緻化する。
• アーキテクチャは、交差エントロピー損失を用いて関係予測のためのディスコースレベルの関係抽出データセット上でエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 GNNにおけるプーリング・アンプーリング機構は、モデルの深さを増さずに、長文関係抽出のための受容 field を効果的に拡大できるか？
• RQ2 Clause Matchingプーリングは、標準的なプーリング手法と比較して、グラフ圧縮時に意味的コンテンツをどれほど効果的に保持できるか？
• RQ3 先行のGNNベースのモデルと比較して、MrGCNは長文コンテキスト関係抽出タスクでどの程度性能を向上させたか？
• RQ4 ミラー構造は、微細な関係分類に不可欠な高品質なトークンレベル表現を維持できるか？

主な発見

• MrGCNは、特に長期依存関係モデリングを要する状況において、2つのディスコースレベル関係抽出データセットで顕著な性能向上を達成した。
• 提案されたClause Matchingプーリング手法は、入力テキストの主な意味的構造を保持しつつ、グラフサイズを顕著に縮小した。
• プーリング・アンプーリング機構により、少ないレイヤーでより大きな有効受容 field を実現し、文脈モデリングの効率性が向上した。
• MrGCNは、先行のGNNベースのモデルと比較して、長文REベンチマークで優れた性能を示し、複雑なディスコース構造における優れた一般化能力を示した。