[論文レビュー] Generalized Relation Learning with Semantic Correlation Awareness for Link Prediction

Yao Zhang, Xu Zhang+6 more|arXiv (Cornell University)|Dec 22, 2020

Advanced Graph Neural Networks参考文献 39被引用数 5

ひとこと要約

本稿では、一般化関係学習（GRL）というフレームワークを提案する。GRLは、関係間の意味的相関を活用することで、不均衡な関係分布および未学習（ゼロショット）関係のリンク予測モデルの性能を向上させる。分類に配慮した損失関数を用いたアテンションベースの統合により、意味的に類似した関係のベクトル空間上の近接性が向上し、一般化性能が向上する。これにより、DistMult や ConvE といったベースモデルが、多数、少数、ゼロショット関係のすべてにおいて顕著に向上する。

ABSTRACT

Developing link prediction models to automatically complete knowledge graphs has recently been the focus of significant research interest. The current methods for the link prediction taskhavetwonaturalproblems:1)the relation distributions in KGs are usually unbalanced, and 2) there are many unseen relations that occur in practical situations. These two problems limit the training effectiveness and practical applications of the existing link prediction models. We advocate a holistic understanding of KGs and we propose in this work a unified Generalized Relation Learning framework GRL to address the above two problems, which can be plugged into existing link prediction models. GRL conducts a generalized relation learning, which is aware of semantic correlations between relations that serve as a bridge to connect semantically similar relations. After training with GRL, the closeness of semantically similar relations in vector space and the discrimination of dissimilar relations are improved. We perform comprehensive experiments on six benchmarks to demonstrate the superior capability of GRL in the link prediction task. In particular, GRL is found to enhance the existing link prediction models making them insensitive to unbalanced relation distributions and capable of learning unseen relations.

研究の動機と目的

• 既存のリンク予測モデルが不均衡な関係分布や未学習（ゼロショット）関係を処理する際の限界を克服すること。
• 意味的に類似した既知の関係から、少数ショットおよびゼロショット関係が恩恵を受けるように一般化性能を向上させること。
• アーキテクチャの大幅な見直しを伴わずに既存モデルを強化できるプラグインフレームワークの開発。
• 意味的相関に配慮した関係学習を通じて、知識グラフの包括的かつ統合的な理解を確立すること。

提案手法

• 既存のリンク予測モデルにおける埋め込み学習段階の後に統合されるGRLフレームワークを導入する。
• 特に多数、少数、ゼロショット関係をつなぐように、関係間の豊かな意味的相関をアテンション機構を用いて抽出する。
• アテンションから得られる結合ベクトルと関係知識ベクトルを、学習可能な統合確率を用いて統合する。
• 分類に配慮した損失関数を適用し、意味的相関を関係表現に直接埋め込み、ベクトル空間上の識別性と近接性を向上させる。
• 結合ベクトルと関係知識ベクトルの寄与をバランスさせるために、適応的統合を採用し、モデルの柔軟性を向上させる。
• DistMult や ConvE といったベースモデルに統合し、あらゆる関係タイプにわたる一般化能力を強化する。

実験結果

リサーチクエスチョン

• RQ1 関係間の意味的相関を効果的に活用することで、不均衡な関係分布におけるリンク予測性能を向上させられるか？
• RQ2 訓練例が一切ない状況でも、ゼロショット関係の有効な学習を可能にする統一フレームワークが構築できるか？
• RQ3 意味的相関の認識を組み込むことで、多数、少数、ゼロショット関係のすべてにおいてリンク予測モデルの一般化性能がどのように向上するか？
• RQ4 GRLは、意味的に類似した関係のベクトル空間におけるクラスタリングをどの程度向上させるか？

主な発見

• GRLはゼロショット関係におけるMRRを顕著に向上させ、近傍情報に依存する最先端手法GMatchingを上回る性能を示した。
• FB15K-237では、ConvE+GRLがMRR 55.4を達成し、ベースモデルのConvE（52.0）と比較して3.4ポイントの向上を示し、強力な一般化性能を実証した。
• アブレーションスタディの結果、結合ベクトルと関係知識ベクトルの両方を統合する（$p_f = 0.5$）ことが最良の性能をもたらし、単一ベクトルベースラインを上回った。
• 可視化結果から、GRLはアテンション分布とt-SNEプロットを改善し、意味的に類似した関係が埋め込み空間でより近接するようになった。
• 直接統合ベースラインはGRLに劣っており、効果的な意味的相関学習には分類に配慮した損失が不可欠であることを示した。
• GRLは、DistMultおよびConvEの両方をあらゆるベンチマークで向上させ、強靭性と一般応用性を示した。