[論文レビュー] On the Equivalence of Holographic and Complex Embeddings for Link Prediction

Katsuhiko Hayashi, Masashi Shimbo|arXiv (Cornell University)|Feb 18, 2017

Advanced Graph Neural Networks参考文献 6被引用数 28

ひとこと要約

本稿は、知識グラフ補完におけるホログラフィック埋め込み（HolE）と複素数埋め込み（ComplEx）の理論的同等性を確立する。周波数ドメインで完全に訓練されるスペクトル HolE—フーリエ変換を用いて実行される—は、共役対称性を課した制限付き ComplEx の一種と見なせる。一方、任意の ComplEx 埋め込みは、スケーリングを除いてスコアを保持する同等の HolE 表現に変換可能である。

ABSTRACT

We show the equivalence of two state-of-the-art link prediction/knowledge graph completion methods: Nickel et al's holographic embedding and Trouillon et al.'s complex embedding. We first consider a spectral version of the holographic embedding, exploiting the frequency domain in the Fourier transform for efficient computation. The analysis of the resulting method reveals that it can be viewed as an instance of the complex embedding with certain constraints cast on the initial vectors upon training. Conversely, any complex embedding can be converted to an equivalent holographic embedding.

研究の動機と目的

• ホログラフィック埋め込み（HolE）と複素数埋め込み（ComplEx）という2つの最先端のリンク予測モデルの間の理論的関係を調査すること。
• 高速フーリエ変換（FFT）を用いて周波数ドメインで完全に動作する HolE のスペクトル学習法を開発すること。
• HolE と ComplEx の間の正式な同等性を確立し、一方を他方へ変換してもスコア関数の出力がスケーリングを除いて保存されることを示すこと。
• 推論時に FFT および逆 FFT を不要にすることで、HolE スコア計算の計算量を O(n log n) から O(n) に削減すること。

提案手法

• 離散フーリエ変換（DFT）を用いて周波数ドメインで埋め込みを学習することで、時間ドメインの実数ベクトルを複素数周波数ドメインベクトルに置き換えることで、HolE のスペクトル学習を提案する。
• 逆 DFT が実数値のホログラフィック埋め込みを出力するように、周波数ドメインの埋め込みに共役対称性を課す。
• 周波数ドメインにおけるスコア関数を f_HolE(r,s,o) = (1/n) Re(ω_r · (ε_s ⊙ ε_o)) として導出する。これにより推論時に FFT 操作を回避できる。
• このスペクトル HolE の定式化が、複素数埋め込みが共役対称性を満たす制約下で ComplEx と同等であることを示す。
• s(x) = [0, x, flip(x)]^T を用いて、複素数埋め込みから同等の実数値ホログラフィック埋め込みへの写像 h(·) を構築する。
• 得られた HolE スコアが、正確に ComplEx スコアの 2/n 倍であることを証明し、スケーリング係数を除いて同等であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ホログラフィック埋め込み（HolE）と複素数埋め込み（ComplEx）の間には、正式な数学的関係が存在するか？
• RQ2 FFT のオーバーヘッドを負担せずに、HolE を周波数ドメインで完全に訓練・スコア計算できるか？
• RQ3 複素数埋め込みに共役対称性を課すと、スペクトル HolE と同等の挙動が得られるか？
• RQ4 任意の複素数埋め込みは、同一のスコア出力を保持する同等のホログラフィック埋め込みに変換可能か？
• RQ5 スペクトル HolE のスコア関数の計算量は、標準的な HolE と比較してどの程度か？

主な発見

• 周波数ドメインで訓練されるスペクトル HolE は、FFT および逆 FFT 操作を不要にすることで、O(n) のスコア計算量を達成する。
• スペクトル HolE モデルは、複素数埋め込みが共役対称性を満たす制約下で ComplEx と数学的に同等である。
• 任意の ComplEx 埋め込みは、変換 h(x) = F⁻¹([0, x, flip(x)]^T) を用いて同等の HolE 表現に変換可能であり、スコアは 2/n のスケーリング係数を除いて同一である。
• HolE の周波数ドメイン定式化は、共役対称性を課した ComplEx と同等であり、より広範な ComplEx フレームワークの特殊ケースである。
• 確率的勾配降下法による周波数ドメインでの学習においても、共役対称性の性質が保持され、時間ドメインで有効な実数値ホログラフィック埋め込みが保証される。
• 同等性の結果から、ComplEx と HolE は本質的に異なるモデルではなく、同じスコア関数を異なるパrameterization で表現したにすぎないことが示唆される。