[論文レビュー] Knowledge graph completion via complex tensor factorization

Théo Trouillon, Christopher R. Dance+4 more|arXiv (Cornell University)|Jan 1, 2017

Advanced Graph Neural Networks参考文献 45被引用数 207

ひとこと要約

本稿では、複素数埋め込みとヘルミート内積を用いた単純ながら表現力のある知識グラフ補完手法を提案する。リンク予測ベンチマークにおいて最先端の性能を達成するとともに、線形時間・空間計算量を維持している。理論的に、すべての実正方行列がユニタリに対角化可能な行列の実部として表現可能であることを確立し、行列因子分解の応用範囲を広げた。

ABSTRACT

In statistical relational learning, knowledge graph completion deals with automatically understanding the structure of large knowledge graphs--labeled directed graphs-- and predicting missing relationships--labeled edges. State-of-the-art embedding models propose different trade-offs between modeling expressiveness, and time and space complexity. We reconcile both expressiveness and complexity through the use of complex-valued embeddings and explore the link between such complex-valued embeddings and unitary diagonalization. We corroborate our approach theoretically and show that all real square matrices--thus all possible relation/adjacency matrices--are the real part of some unitarily diagonalizable matrix. This results opens the door to a lot of other applications of square matrices factorization. Our approach based on complex embeddings is arguably simple, as it only involves a Hermitian dot product, the complex counterpart of the standard dot product between real vectors, whereas other methods resort to more and more complicated composition functions to increase their expressiveness. The proposed complex embeddings are scalable to large data sets as it remains linear in both space and time, while consistently outperforming alternative approaches on standard link prediction benchmarks.

研究の動機と目的

• 知識グラフ補完における表現力と計算複雑度のトレードオフを解消すること。
• 関係構造の表現における複素数埋め込みの理論的・実用的利点を調査すること。
• 複素数埋め込みが最小限の計算オーバーヘッドで高い性能を達成できることを実証すること。
• 複素数埋め込みと実行列のユニタリ対角化との理論的関連を確立すること。
• 既存の埋め込みモデルで複雑化する傾向にある合成関数の代替としてスケーラブルな手法を提供すること。

提案手法

• 本手法は、関係をヘルミート内積によってモデル化する複素数型エンティティおよび関係埋め込みを採用する。
• すべての実正方行列がユニタリに対角化可能な行列の実部として表現可能であるという数学的性質を活用する。
• エンティティと関係埋め込み間のヘルミート内積の実部に基づくスコアリング関数を採用する。
• 線形時間・空間計算量を保証し、大規模な知識グラフへのスケーラビリティを実現する。
• 複雑な合成関数を避け、複素数埋め込みの内蔵的表現力に依存する。
• 理論的分析により、ユニタリ対角化を用いることで、すべての可能な隣接行列を表現可能であることが確認された。

実験結果

リサーチクエスチョン

• RQ1 複素数埋め込みは計算複雑度を増加させることなく高い表現力を達成できるか？
• RQ2 複素数埋め込みと実行列のユニタリ対角化の間に理論的関連があるか？
• RQ3 単純なヘルミート内積ベースのモデルは、より複雑な合成関数を用いるモデルを上回れるか？
• RQ4 提案手法は、リンク予測性能を向上させながらもスケーラビリティを維持できるか？
• RQ5 すべての実正方行列は、ユニタリに対角化可能な行列の実部として表現可能か？

主な発見

• すべての実正方行列は、あるユニタリに対角化可能な行列の実部として表現可能であり、本手法に強い理論的基盤を提供した。
• 提案モデルは、標準的なリンク予測ベンチマークで最先端の性能を達成した。
• 線形時間・空間計算量を維持しており、大規模な知識グラフへのスケーラビリティを実現した。
• 複素数埋め込みとヘルミート内積の組み合わせにより、複雑な合成関数を必要とせずに十分な表現力を得られた。
• 複雑な相互作用メカニズムに依存する既存のモデルと比較して、一貫して優れた性能を示した。
• 理論的結果により、行列因子分解技術を広範な正方行列問題に応用する新たな道が開かれた。