[論文レビュー] DensE: An Enhanced Non-Abelian Group Representation for Knowledge Graph Embedding.

H. Lu, Hailin Hu|arXiv (Cornell University)|Aug 11, 2020

Advanced Graph Neural Networks参考文献 19被引用数 11

ひとこと要約

DensEは、知識グラフ埋め込みのための新規手法であり、RotatEを拡張して、3次元ユークリッド空間におけるSO(3)回転およびスケーリング作用素として関係をモデル化することで、非可換性、エンティティ依存性、スケール適応性を持つ合成関係を実現する。リンク予測において、特に複雑な合成関係に対して最先端の性能を達成し、モデルの複雑さは低く抑えられつつ幾何的解釈可能性も維持される。

ABSTRACT

Capturing the composition patterns of relations is a vital task in knowledge graph completion. It also serves as a fundamental step towards multi-hop reasoning over learned knowledge. Previously, rotation-based translational methods, e.g., RotatE, have been developed to model composite relations using the product of a series of complex-valued diagonal matrices. However, RotatE makes several oversimplified assumptions on the composition patterns, forcing the relations to be commutative, independent from entities and fixed in scale. To tackle this problem, we have developed a novel knowledge graph embedding method, named DensE, to provide sufficient modeling capacity for complex composition patterns. In particular, our method decomposes each relation into an SO(3) group-based rotation operator and a scaling operator in the three dimensional (3-D) Euclidean space. The advantages of our method are twofold: (1) For composite relations, the corresponding diagonal relation matrices can be non-commutative and related with entity embeddings; (2) It extends the concept of RotatE to a more expressive setting with lower model complexity and preserves the direct geometrical interpretations, which reveals how relations with distinct patterns (i.e., symmetry/anti-symmetry, inversion and composition) are modeled. Experimental results on multiple benchmark knowledge graphs show that DensE outperforms the current state-of-the-art models for missing link prediction, especially on composite relations.

研究の動機と目的

• 複雑な関係合成パターンのモデル化においてRotatEの限界を解消すること。
• 可換性、固定スケール、エンティティからの独立性といったRotatEの過度に単純化された仮定を緩和すること。
• 知識グラフにおける合成関係のためのより表現力がありながらも効率的な表現を開発すること。
• 複素数値回転の範囲を超えて表現力を拡張しつつも、幾何的解釈可能性を維持すること。
• 対称性、反対称性、逆転、合成のパターンを正確に捉えることで、より良いマルチホップ推論を可能にすること。

提案手法

• DensEは、各関係を3次元ユークリッド空間におけるSO(3)回転作用素とスケーリング作用素に分解する。
• この手法は、回転行列とスケーリング行列の積として合成関係をモデル化し、非可換性を実現する。
• エンティティ埋め込みを関係行列に組み込むことで、合成パターンをエンティティに依存させる。
• スケーリング成分により、関係の大きさを変化させることができ、RotatEの固定スケール制限を克服する。
• 関係を3次元の回転とスケーリングの枠組みに埋め込むことで、直接的な幾何的解釈を維持する。
• エンティティ固有の関係作用素の行列積による合成関係モデル化により、解釈可能性を保つ。

実験結果

リサーチクエスチョン

• RQ1 3次元ユークリッド空間表現は、複素数値手法に比べて非可換な合成関係をより効果的にモデル化できるか？
• RQ2 エンティティ依存の関係行列を組み込むことで、合成関係のモデル化がどの程度向上するか？
• RQ3 スケーリングの導入が、合成関係予測の性能向上にどの程度寄与するか？
• RQ4 提案手法は、RotatEを上回る表現力を有しながらも、幾何的解釈可能性を維持できるか？
• RQ5 DensEは、最先端モデルと比較してマルチホップ推論ベンチマークでどの程度の性能を示すか？

主な発見

• DensEは、複数のベンチマーク知識グラフにおいて、欠落したリンク予測で最先端のモデルを上回る性能を達成した。
• 特に非可換性やスケール変動を伴うパターンを含む合成関係において、優れた性能を発揮した。
• 他の表現力のあるモデルと比較して、モデルの複雑さは低く抑えられつつ、予測精度が向上した。
• 関係を3次元の回転とスケーリングとして幾何的に解釈することで、対称性、反対称性、逆転の挙動について明確な洞察が得られた。
• エンティティ依存の関係行列の統合により、文脈に依存する関係合成のより正確なモデル化が可能になった。
• 実騴結果は、拡張されたモデル化能力が、特に複雑な関係パターンにおいて測定可能な予測性能の向上をもたらすことを確認した。