[論文レビュー] Differentiating Concepts and Instances for Knowledge Graph Embedding

Xin Lv, Lei Hou+2 more|ArXiv.org|Nov 12, 2018

Advanced Graph Neural Networks参考文献 22被引用数 8

ひとこと要約

本稿では、共有ベクトル空間内での概念（球体として表現）とインスタンス（ベクトルとして表現）の区別を可能にする知識グラフ埋め込みモデル、TransCを提案する。instanceOfおよびsubClassOf関係を幾何的関係（例：インスタンスベクトルが概念球体の内部にあること）によってモデル化することで、isA関係の推移性を捉え、リンク予測および三元組分類タスクにおいて最先端の手法を上回る性能を発揮する。特に階層的推論処理において優れた効果を示す。

ABSTRACT

Concepts, which represent a group of different instances sharing common properties, are essential information in knowledge representation. Most conventional knowledge embedding methods encode both entities (concepts and instances) and relations as vectors in a low dimensional semantic space equally, ignoring the difference between concepts and instances. In this paper, we propose a novel knowledge graph embedding model named TransC by differentiating concepts and instances. Specifically, TransC encodes each concept in knowledge graph as a sphere and each instance as a vector in the same semantic space. We use the relative positions to model the relations between concepts and instances (i.e., instanceOf), and the relations between concepts and sub-concepts (i.e., subClassOf). We evaluate our model on both link prediction and triple classification tasks on the dataset based on YAGO. Experimental results show that TransC outperforms state-of-the-art methods, and captures the semantic transitivity for instanceOf and subClassOf relation. Our codes and datasets can be obtained from https:// github.com/davidlvxin/TransC.

研究の動機と目的

• 既存の知識グラフ埋め込み手法が概念とインスタンスを一様にベクトルとして扱うという限界を是正し、それらの意味的差異を無視しないこと。
• ベクトル空間内の幾何的関係を活用することで、isA関係（instanceOfおよびsubClassOf）の推移性を明示的にモデル化すること。
• isA関係の推移性の処理をよりよく評価できるよう、YAGOから派生した新しいデータセットM-YAGO39Kを構築すること。
• 概念レベルとインスタンスレベルの表現を区別することで、リンク予測および三元組分類の性能を向上させること。
• 特に階層的知識構造において、より正確な新規事実の推論を可能にするため、推移的推論を可能とすること。

提案手法

• 知識グラフ内の概念は、共有埋め込み空間内でのハイパーサイフォイドとして符号化され、インスタンスはベクトルとして表現される。
• instanceOf関係は、インスタンスベクトルが概念の球体内にあるかどうかを幾何的距離基準でチェックすることでモデル化される。
• subClassOf関係は、2つの概念球体の間の4つの可能な相対的位置関係（例：一方が他方を包含する、重複する、など）を列挙し、定量的に評価する。
• 統一された損失関数が3つの成分（instanceOf損失、subClassOf損失、関係損失）を統合し、それらのバランスを取るために学習可能な重みを用いる。
• 埋め込みの最適化にはマージンベースのランク損失が用いられ、各損失タイプごとに個別のハイパーパrameterが設定される。
• フレームワークは翻訳ベースのモデルと統合され、確率的最適化を用いて、概念、インスタンス、関係の埋め込みを同時に学習する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ埋め込みにおいて、概念とインスタンスを区別することで、リンク予測および三元組分類の性能向上が図れるか？
• RQ2 instanceOfおよびsubClassOf関係を幾何的モデリングすることで、isA関係に内在する推移性をよりよく捉えられるか？
• RQ3 球体ベースの概念表現は、標準的なベクトルベースの表現よりも、階層的知識のモデリングにおいて優れた性能を発揮するか？
• RQ4 instanceOf関係が実世界の知識ベースで支配的であるように、訓練データに偏りがある関係において、モデルの性能はどのように変化するか？
• RQ5 訓練データに存在しないが、推移的推論によって導ける正当なisA関係（例：instanceOfやsubClassOf）をモデルが推論できるか？

主な発見

• YAGO39KおよびM-YAGO39Kデータセットの両方において、TransCはTransE、TransD、HolE、DistMult、ComplExを上回る性能を示した。
• M-YAGO39Kにおいて、TransCはinstanceOfおよびsubClassOf三元組分類の両方で顕著な性能向上を達成し、isA関係の推移性処理の優位性を示した。
• instanceOf関係が過剰に存在する状況においても、TransCはすべての関係タイプで安定した性能を維持しており、表現学習におけるバランスの良さを示した。
• モデルは、(ニューヨークシティ, instanceOf, 市) や (港町, subClassOf, 市) のような新しいinstanceOfおよびsubClassOf三元組を、推移的推論により正しく予測できた。他のモデルでは同様の予測が不可能であった。
• 従来のモデルはYAGO39KからM-YAGO39Kに移行する際、特にsubClassOf分類において性能が著しく低下するのに対し、TransCは一貫した改善を示し、階層的推論に対する頑健性を確認した。
• 『bern』サンプリング戦略の使用は、『unif』サンプリングに比べて、特に関係分類タスクにおいて性能を向上させた。