[論文レビュー] Iteratively Learning Embeddings and Rules for Knowledge Graph Reasoning

Wen Zhang, Bibek Paudel+6 more|Zurich Open Repository and Archive (University of Zurich)|Mar 21, 2019

Advanced Graph Neural Networks参考文献 44被引用数 20

ひとこと要約

この論文では、相互に強化し合う形で知識グラフ埋め込みと論理的規則を繰り返し学習するフレームワーク、IterEを提案する。埋め込みが規則発見をガイドし、規則がスパースなエンティティ表現を改善することで、AMIE+などの最先端手法と比較して、より優れたリンク予測性能と、より効率的で高品質な規則生成を達成する。

ABSTRACT

Reasoning is essential for the development of large knowledge graphs, especially for completion, which aims to infer new triples based on existing ones. Both rules and embeddings can be used for knowledge graph reasoning and they have their own advantages and difficulties. Rule-based reasoning is accurate and explainable but rule learning with searching over the graph always suffers from efficiency due to huge search space. Embedding-based reasoning is more scalable and efficient as the reasoning is conducted via computation between embeddings, but it has difficulty learning good representations for sparse entities because a good embedding relies heavily on data richness. Based on this observation, in this paper we explore how embedding and rule learning can be combined together and complement each other's difficulties with their advantages. We propose a novel framework IterE iteratively learning embeddings and rules, in which rules are learned from embeddings with proper pruning strategy and embeddings are learned from existing triples and new triples inferred by rules. Evaluations on embedding qualities of IterE show that rules help improve the quality of sparse entity embeddings and their link prediction results. We also evaluate the efficiency of rule learning and quality of rules from IterE compared with AMIE+, showing that IterE is capable of generating high quality rules more efficiently. Experiments show that iteratively learning embeddings and rules benefit each other during learning and prediction.

研究の動機と目的

• トレーニングトリプルが限られるため、代表的でないエンティティが劣悪な表現を受ける知識グラフ埋め込み学習におけるスパarsity問題に対処すること。
• 潜在的な規則構造を探索する際、膨大な探索空間に直面するため、規則学習の計算的非効率性を克服すること。
• 埋め込みと規則がお互いに改善し合う共同学習フレームワークを開発し、埋め込みのスケーラビリティと規則の解釈可能性を組み合わせること。
• 埋め込みの意味的特性を活用して探索空間を縮小しつつ、高品質な規則誘導を維持するためのプルーニング戦略を設計すること。

提案手法

• IterEは、(1) 既存のトリプルおよび規則から推論されたトリプルから、選択された埋め込みモデル（例：TransE、ComplEx）を用いてエンティティおよび関係の埋め込みを学習する段階と、(2) 現在の埋め込みから、OWL2オブジェクトプロパティ公理に基づく意味的規則形式を用いて新しい規則を誘導する段階を交互に繰り返す。
• 規則誘導の段階で、新たなプルーニング戦略を導入し、低信頼度または重複する規則を早期に除外することで、探索空間を著しく縮小しつつ、規則の品質を損なわない。
• 規則は信頼度と意味的妥当性に基づいてスコア付けされ、信頼度は知識グラフ内でのサポートトリプルの数から計算される。
• フレームワークは、新たに発見された規則を知識グラフに再統合し、その後の埋め込み学習イテレーションのための訓練データを豊かにする。
• この手法は、さまざまな埋め込みモデルと互換性があり、特に線形マップ仮定に基づく規則と組み合わせることで、規則学習との高い適合性を実現する。

実験結果

リサーチクエスチョン

• RQ1 埋め込み学習と規則学習の繰り返し精錬が、知識グラフにおけるスパースなエンティティの表現品質を向上させることができるか？
• RQ2 埋め込みに基づくガイドラインが、規則学習の計算コストを削減しつつ、規則の品質を維持または向上させることができるか？
• RQ3 埋め込みと規則の間の相互フィードバックループが、単独で学習されたいずれのコンポーネントよりも優れた全体的な推論性能をもたらすか？
• RQ4 OWL2の公理に基づく意味的規則の統合が、推論された知識の品質と解釈可能性にどのように影響を与えるか？

主な発見

• IterEは、頻度の低いエンティティの性能ギャップを縮小するため、追加の訓練信号を提供する規則を統合することで、スパースなエンティティのリンク予測性能を著しく向上させる。
• 有効な埋め込みに基づくプルーニングにより、計算時間の短縮を実現しつつ、AMIE+と比較して、信頼度とカバー範囲に優れた高品質な規則を生成する。
• 繰り返し精錬により、イテレーションの度に埋め込みの品質と規則の品質が着実に向上し、両者の間で正のフィードバックループが形成されていることが示された。
• OWL2に基づくオブジェクトプロパティ公理の使用により、標準的な知識表現原則に整合し、意味的に意味のある解釈可能な規則の発見が可能になった。
• FB15k-237および他のベンチマークでの実験により、IterEは、リンク予測と規則品質の両方の指標において、単独の埋め込み学習および規則学習ベースラインを上回ることが示された。