[論文レビュー] Discrete Knowledge Graph Embedding based on Discrete Optimization

Yunqi Li, Shuyuan Xu+5 more|arXiv (Cornell University)|Jan 13, 2021

Advanced Graph Neural Networks参考文献 16被引用数 4

ひとこと要約

本稿では、ハミング空間における離散最適化を用いて、ハダマード積を翻訳モデルとして用いることで、直接的にバイナリーエンティティおよび関係コードを学習する離散知識グラフ埋め込み（DKGE）を提案する。DKGEは、顕著に低いストレージおよび計算コストで、最先端の連続モデルと同等のリンク予測精度を達成する。また、訓練後における連続埋め込みの量子化を行う手法よりも優れた性能を示す。

ABSTRACT

This paper proposes a discrete knowledge graph (KG) embedding (DKGE) method, which projects KG entities and relations into the Hamming space based on a computationally tractable discrete optimization algorithm, to solve the formidable storage and computation cost challenges in traditional continuous graph embedding methods. The convergence of DKGE can be guaranteed theoretically. Extensive experiments demonstrate that DKGE achieves superior accuracy than classical hashing functions that map the effective continuous embeddings into discrete codes. Besides, DKGE reaches comparable accuracy with much lower computational complexity and storage compared to many continuous graph embedding methods.

研究の動機と目的

• 大規模応用における連続知識グラフ埋め込みの高いストレージおよび計算コストを軽減すること。
• まず連続空間で最適化し、その後に離散コードに量子化する二段階ハッシング手法が引き起こす性能劣化を克服すること。
• エンティティおよび関係のバイナリーエンベッディングを直接学習できる計算的に tractable な離散最適化フレームワークを開発すること。
• 連続モデルと同等またはそれ以上のリンク予測精度を達成しつつ、メモリ使用量と推論コストを著しく削減すること。
• 連続埋め込みの後処理による量子化よりも、直接的な離散最適化が優れていることを実証すること。

提案手法

• DKGEは、{±1}^k 内のバイナリーベクトルとしてエンティティおよび関係を表現し、ハミング空間に埋め込む。
• ヘッドエンティティと関係ベクトルのハダマード積を用いてエンティティの翻訳をモデル化し、構造的意味を保持する。
• スコアリング関数は、翻訳されたヘッドエンティティとテールエンティティの間のハミング距離に基づく。
• 混合整数交互最適化アルゴリズムを用いて離散最適化問題を解き、計算の tractability を確保する。
• 離散変数における反復的最適化を通じて、アルゴリズムの収束が理論的に保証される。
• 離散制約の緩和を回避することで、埋め込みの忠実性を維持し、量子化損失を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ埋め込みの直接的離散最適化は、ストレージおよび計算コストを削減しつつ、連続手法と同等の精度を達成できるか？
• RQ2 訓練後に古典的ハッシング関数を用いて連続埋め込みを量子化する手法と比較して、直接的離散埋め込み学習はどのように異なるか？
• RQ3 B-CP などの既存の離散KG埋め込み手法に比べ、離散最適化は特に密度の高いデータセットで優れているか？
• RQ4 ヘッドエンティティとテールエンティティに別々のベクトルを使用するモデルと比較して、メモリ消費量を半分に抑えた場合でも、提案手法は高い性能を維持できるか？
• RQ5 低メモリ・高効率な環境下でのリンク予測精度に、離散最適化が及ぼす影響は何か？

主な発見

• DKGEは、TransE、DistMult、ComplEx、ConvE、R-GCN といった最先端の連続モデルと同等またはそれ以上のリンク予測精度を達成しており、特に FB15k-237 で顕著である。
• 同じメモリ予算下で、DKGEは精度および効率の両面で連続モデルを上回っていることが図1で示されている。
• DKGEは、TransE や DistMult から得た連続埋め込みに古典的ハッシング関数（符号、等間隔、Lloyd-Max）を適用した場合に比べ、顕著に優れた性能を示す。
• DKGEは、B-CP よりも FB15k-237 で Hit@10 が高く、しかもメモリ使用量を半分に抑えたにもかかわらず、密度の高いデータセットにおける優れた性能を示している。
• ビット単位の演算により、離散コード上で処理されるため、計算複雑度が低く、推論が高速化され、エッジデバイスへのデプロイが可能である。
• 離散最適化アルゴリズムの収束が理論的に保証されており、その安定性と信頼性が裏付けられている。