[論文レビュー] Complex and Holographic Embeddings of Knowledge Graphs: A Comparison

Théo Trouillon, Maximilian Nickel|arXiv (Cornell University)|Jul 5, 2017

Advanced Graph Neural Networks参考文献 11被引用数 22

ひとこと要約

この論文は、知識グラフ埋め込みモデルとしてのComplExとHolEを比較し、フーリエ変換の性質を用いて、それらのスコアリング関数が数学的に同等であることを示している。理論的には同一の性能を示すが、実際の性能の違いは、異なる損失関数に起因する。ComplExは、複素数値の定式化により、対称的・反対称的関係を処理する上で計算上の利点を有する。

ABSTRACT

Embeddings of knowledge graphs have received significant attention due to their excellent performance for tasks like link prediction and entity resolution. In this short paper, we are providing a comparison of two state-of-the-art knowledge graph embeddings for which their equivalence has recently been established, i.e., ComplEx and HolE [Nickel, Rosasco, and Poggio, 2016; Trouillon et al., 2016; Hayashi and Shimbo, 2017]. First, we briefly review both models and discuss how their scoring functions are equivalent. We then analyze the discrepancy of results reported in the original articles, and show experimentally that they are likely due to the use of different loss functions. In further experiments, we evaluate the ability of both models to embed symmetric and antisymmetric patterns. Finally, we discuss advantages and disadvantages of both models and under which conditions one would be preferable to the other.

研究の動機と目的

• スコアリング関数の同等性が確立されているにもかかわらず、2つの最先端の知識グラフ埋め込みモデル、ComplExとHolEを比較すること。
• 初期の研究で報告された矛盾する実験的結果の原因を特定し、それらが異なる損失関数に起因することを解明すること。
• 両モデルが知識グラフにおける対称的および反対称的関係的パターンをどの程度正しく表現できるかを評価すること。
• 最適化、メモリ使用量、表現力の観点から、ComplExとHolEの実用的トレードオフを分析すること。

提案手法

• 論文は、パーシバルの定理と離散フーリエ変換（DFT）を用いて、ComplExとHolEの数学的同等性を導出しており、それらのスコアリング関数が定数倍を除いて同一であることを示している。
• HolEの円形相関を逆DFTと複素共役を用いて再定式化し、ComplExの複素埋め込みの三重線形積と一致させる。
• 分析により、実数値のHolE埋め込みがDFTを介して複素ベクトルにマッピングされ、対称性制約下ではComplEx埋め込みの構造と一致することが明らかになった。
• 著者らは、同等の複素埋め込みは実数埋め込みの半分のサイズであるが、複素数演算のため1次元あたり2倍のメモリを要することを示し、結果として同じメモリ複雑度を維持していることを示した。
• 実験では、損失関数の影響を分離するために、制御された設定で対称的および反対称的関係の性能を比較した。
• 負例サンプリングを用い、同じ訓練プロトコル下でのリンク予測性能を評価することで、実用的な差異を評価した。

実験結果

リサーチクエスチョン

• RQ1 ComplExとHolEのスコアリング関数は真に同等であるのか？ もし同等であれば、どのような数学的条件下で成立するのか？
• RQ2 理論的に同等であるにもかかわらず、初期の研究で報告された異なる実験的結果の原因は何か？
• RQ3 ComplExとHolEは、知識グラフにおける対称的関係と反対称的関係のパターンに対して、それぞれどの程度の性能を示すのか？
• RQ4 知識グラフ表現において、複素数値埋め込みと実数値埋め込みを用いる際の実用的利点と欠点は何か？

主な発見

• パーシバルの定理とDFTの性質を用いた証明により、ComplExとHolEのスコアリング関数は定数倍を除いて数学的に同等であることが示された。
• 報告された結果の相違は、主に異なる損失関数に起因しており、モデルの容量やアーキテクチャの違いによるものではない。
• ComplExは、方向性のパターンを自然に捉える複素共役の定式化により、反対称的関係の表現において優れた表現力を示した。
• 両モデルのメモリ複雑度は同一であり、複素埋め込みは同等の実数埋め込みの半分のサイズであるが、1次元あたり2倍のメモリを要するため、結果として同じメモリ複雑度を維持する。
• 同等性は、DFTドメインで対称性制約が保たれている場合にのみ成立する。これは、複素共役を用いることでComplExで暗黙的に保証されている。
• 実験的評価により、同じ損失関数で訓練された場合、両モデルがリンク予測において同等の性能を示すことが確認された。