[論文レビュー] Rot-Pro: Modeling Transitivity by Projection in Knowledge Graph Embedding

Tengwei Song, Jie Luo+1 more|arXiv (Cornell University)|Oct 27, 2021

Advanced Graph Neural NetworksComputer Science参考文献 27被引用数 21

ひとこと要約

Rot-Pro は、関係の回転と投影を組み合わせることで、従来のモデルであまり検討されていなかった推移性を明示的にモデル化する知識グラフ埋め込みモデルを提案する。恒等的射影を介して推移性が捉えられることを理論的に証明し、RotatE の回転メカニズムと統合することで、Countries のような推移的データセットにおけるリンク予測で最先端の性能を達成した。YAGO3-10 および FB15k-237 でも、先行モデルを上回った。

ABSTRACT

Knowledge graph embedding models learn the representations of entities and relations in the knowledge graphs for predicting missing links (relations) between entities. Their effectiveness are deeply affected by the ability of modeling and inferring different relation patterns such as symmetry, asymmetry, inversion, composition and transitivity. Although existing models are already able to model many of these relations patterns, transitivity, a very common relation pattern, is still not been fully supported. In this paper, we first theoretically show that the transitive relations can be modeled with projections. We then propose the Rot-Pro model which combines the projection and relational rotation together. We prove that Rot-Pro can infer all the above relation patterns. Experimental results show that the proposed Rot-Pro model effectively learns the transitivity pattern and achieves the state-of-the-art results on the link prediction task in the datasets containing transitive relations.

研究の動機と目的

• 既存の知識グラフ埋め込みモデルが推移性——一般的ではあるが、あまり代表されていない関係パターン——を効果的にモデル化できないというギャップを解消すること。
• 推移的関係が、特に射影を用いた恒等的変換によってモデル化可能であることを理論的に示すこと。
• 対称性、非対称性、逆転、合成、推移性といった複数の関係パターンを同時に推論できる統合型モデル Rot-Pro を設計すること。
• 実験的に、Rot-Pro が推移性を効果的に学習し、推移的関係を含むリンク予測ベンチマークで最先端の性能を達成できることを検証すること。
• 位相制約下での対称性の保存と推移性のモデル化の間のトレードオフを調査すること。

提案手法

• Rot-Pro は、複素平面における関係の回転と射影行列を統合し、推移性をモデル化する。射影行列は、対角成分が 0 と 1 である対角行列に類似した恒等的性質を持つように制約される。
• スコア関数は、関係固有の行列を介して射影された回転されたヘッドエンティティ表現に基づく。回転のダイナミクスと射影による恒等的性質を統合する。
• 適切な推移性のモデル化を確保するため、訓練中に関係の回転位相を (−π/2, π/2) に制限し、π における局所最適解を回避する。
• 回転と射影の組み合わせにより、理論的に対称性、非対称性、逆転、合成、推移性をサポートするモデルの表現力が保証される。
• 埋め込み空間は (−π, π) の範囲で初期化されるが、制限された位相範囲での訓練により、推移的チェーン表現の収束性と正しさが向上する。
• 負例サンプリングとマージンベースの損失関数を用いてモデルを訓練し、位相制約が異なる関係パターンに与える影響を評価するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 射影に基づく恒等的変換を用いて、知識グラフ内の推移的関係を効果的にモデル化できるか？
• RQ2 射影を関係の回転とどのように組み合わせることで、推移性を含む複数の関係パターンを同時にモデル化できるか？
• RQ3 関係の回転位相を (−π/2, π/2) に制限することで、モデルの推移的チェーンの学習能力と局所最適解の回避に与える影響は何か？
• RQ4 Rot-Pro は、推移的関係を含むリンク予測タスクにおいて、既存のモデルをどの程度上回るか？
• RQ5 位相制約を適用する際、推移性のモデル化と対称性の保存の間にはどのようなトレードオフが生じるか？

主な発見

• Rot-Pro は、推移的関係を含む Countries データセットで最先端の性能を達成し、リンク予測において既存のモデルを上回った。
• 位相を (−π/2, π/2) に制限した場合、回転空間内でのエンティティ埋め込みが直線上に正しく整列するという証拠により、モデルが推移的チェーンを正しく学習したことが示された。
• 位相制約がない場合、モデルはしばしば π における局所最適解に収束し、(e1,r,e3) と (e2,r,e4) のような推移的三つ組の誤った表現が生じた。
• 関係の回転位相を (−π/2, π/2) に制限することで、視覚化と損失曲線解析の両方で、推移的関係の正しく表現される能力が顕著に向上した。
• 位相制約を適用した場合、対称的関係の性能が低下したため、推移性のモデル化と対称性の保存の間にトレードオフが存在することが示された。
• アブレーションスタディにより、位相制約が推移性のモデル化を向上させる一方で、対称的関係の学習に悪影響を及えることが確認された。今後の研究では、適応的またはアテンションベースのメカニズムの導入が求められる。