[論文レビュー] Long-tail Relation Extraction via Knowledge Graph Embeddings and Graph Convolution Networks

Ningyu Zhang, Shumin Deng+5 more|arXiv (Cornell University)|Mar 4, 2019

Advanced Graph Neural Networks参考文献 42被引用数 7

ひとこと要約

本稿では、データ豊富なヘッド関係からデータ貧困なテール関係へと意味的知識を転送することで、長尾関係抽出の性能を向上させる知識グラフ埋め込みとグラフ畳み込みネットワーク（GCN）を用いたアプローチを提案する。粗くから細かくまでの知識に配慮したアテンションを統合することで、NYTデータセットにおける長尾関係の性能が顕著に向上し、特にリソースが限られた状況下でベースラインを上回る性能を示す。

ABSTRACT

We propose a distance supervised relation extraction approach for long-tailed, imbalanced data which is prevalent in real-world settings. Here, the challenge is to learn accurate "few-shot" models for classes existing at the tail of the class distribution, for which little data is available. Inspired by the rich semantic correlations between classes at the long tail and those at the head, we take advantage of the knowledge from data-rich classes at the head of the distribution to boost the performance of the data-poor classes at the tail. First, we propose to leverage implicit relational knowledge among class labels from knowledge graph embeddings and learn explicit relational knowledge using graph convolution networks. Second, we integrate that relational knowledge into relation extraction model by coarse-to-fine knowledge-aware attention mechanism. We demonstrate our results for a large-scale benchmark dataset which show that our approach significantly outperforms other baselines, especially for long-tail relations.

研究の動機と目的

• 不足した学習データによる長尾関係の関係抽出における低性能の課題に対処する。
• データ豊富なヘッド関係（データ豊富）とデータ貧困なテール関係（データ貧困）の間の意味的相関を活用し、フェイシュート学習を向上させる。
• 関係クラス間における暗黙的および明示的な関係的知識を効果的に学習・統合する手法を開発する。
• 粗くから細かくまでの知識に配慮したアテンションメカニズムを設計し、関係的文脈を用いて文の表現を強化する。
• 階層的知識転送を用いて、希少関係の予測における一般化性能を向上させ、不確実性を低減する。

提案手法

• 意味的に類似した関係クラス間の暗黙的関係的知識を、潜在空間における知識グラフ埋め込みを用いて学習する。
• 関係階層における構造的依存関係を捉えることで、明示的な関係的知識を学習するため、グラフ畳み込みネットワーク（GCNs）を適用する。
• 階層的関係信号を用いて文のアテンションを誘導する粗くから細かくまでの知識に配慮したアテンションメカニズムを通じて、関係抽出モデルに関係的知識を統合する。
• 畳み込みニューラルネットワーク（CNNs）を用いて入力文を符号化し、文脈を反映した文の表現を取得する。
• 文レベルの表現と関係的知識を統合して、関係分類のための強化されたバッグレベルの表現を形成する。
• NYTデータセット上で遠隔監視を用いてエンドツーエンドのモデルを学習し、長尾関係の性能に重点を置く。

実験結果

リサーチクエスチョン

• RQ1 知識グラフからの暗黙的および明示的な関係的知識は、長尾関係におけるフェイシュート学習を向上させるか？
• RQ2 粗くから細かくまでの知識に配慮したアテンションメカニズムは、希少関係のための関連する文を選択する際にどの程度効果的か？
• RQ3 意味的に類似したヘッド関係からの知識転送は、データが少ないテール関係の性能を向上させるか？
• RQ4 KG埋め込みとGCNは、関係クラス間の関係的構造を学習する上で、どのように比較されるか？
• RQ5 関係的知識の統合は、未知または希少関係の予測における不確実性をどの程度低減するか？

主な発見

• 提案されたモデルは、特に長尾関係においてベースラインモデルを顕著に上回り、知識転送の有効性を示している。
• 粗くから細かくまでの知識に配慮したアテンションメカニズムは、アテンションの整合性を向上させ、KATTがHATTよりも希少関係の正しい文の選択で優れている。
• GCNを除去すると性能が顕著に低下し、関係クラス間における明示的な関係的構造の学習においてGCNの役割が確認された。
• 実験の結果、KG埋め込みまたは単語埋め込みを単独で使用した場合、性能が低くなることが示され、暗黙的および明示的知識の両方の必要性が強調された。
• t-SNEの可視化結果から、GCNとKG埋め込みが、意味的に類似した関係クラスを埋め込み空間で近づけることが確認され、長尾一般化に寄与している。
• 本モデルは、4つの学習インスタンスしか持たない関係（例：/location/br_state/capital）に対しても強固な性能を維持しており、リソースが限られた状況下での頑健性を示している。