[论文解读] Discrete Knowledge Graph Embedding based on Discrete Optimization

Yunqi Li, Shuyuan Xu+5 more|arXiv (Cornell University)|Jan 13, 2021

Advanced Graph Neural Networks参考文献 16被引用 4

一句话总结

本文提出离散知识图嵌入（DKGE），一种通过离散优化直接在汉明空间中学习二值实体和关系编码的方法，采用哈达玛积进行嵌入表示建模。DKGE在显著降低存储和计算成本的同时，实现了与最先进连续模型相当的链接预测准确率，且优于训练后对连续嵌入进行量化的方法。

ABSTRACT

This paper proposes a discrete knowledge graph (KG) embedding (DKGE) method, which projects KG entities and relations into the Hamming space based on a computationally tractable discrete optimization algorithm, to solve the formidable storage and computation cost challenges in traditional continuous graph embedding methods. The convergence of DKGE can be guaranteed theoretically. Extensive experiments demonstrate that DKGE achieves superior accuracy than classical hashing functions that map the effective continuous embeddings into discrete codes. Besides, DKGE reaches comparable accuracy with much lower computational complexity and storage compared to many continuous graph embedding methods.

研究动机与目标

• 为解决大规模应用中连续知识图嵌入带来的高存储和计算成本问题。
• 克服两阶段哈希方法（先在连续空间中优化，再量化为离散编码）导致的性能下降问题。
• 开发一种计算上可行的离散优化框架，直接学习实体和关系的二值嵌入。
• 在大幅降低内存占用和推理成本的同时，实现与连续模型相当或更优的链接预测准确率。
• 证明直接离散优化相较于对连续嵌入进行后处理量化的优势。

提出的方法

• DKGE将实体和关系表示为{±1}^k中的二值向量，嵌入在汉明空间中。
• 通过头实体向量与关系向量的哈达玛积建模实体的平移，保留结构语义。
• 得分函数基于翻译后头实体与尾实体之间的汉明距离。
• 采用混合整数交替优化算法求解离散优化问题，确保计算可行性。
• 通过在离散变量上的迭代优化，理论上保证算法收敛。
• 该方法避免对离散约束进行松弛，保持嵌入保真度并最小化量化损失。

实验结果

研究问题

• RQ1 能否通过知识图嵌入的直接离散优化，在降低存储和计算成本的同时，实现与连续方法相当的准确率？
• RQ2 与使用经典哈希函数对连续嵌入进行训练后量化相比，直接学习离散嵌入有何差异？
• RQ3 离散优化是否优于现有离散KG嵌入方法（如B-CP），尤其是在密集数据集上？
• RQ4 在仅使用传统模型一半内存（即不为头尾实体分别使用独立向量）的情况下，该方法能否保持高性能？
• RQ5 在低内存、高效率场景下，离散优化对链接预测准确率有何影响？

主要发现

• DKGE在链接预测准确率上与最先进连续模型（如TransE、DistMult、ComplEx、ConvE和R-GCN）相当或更优，尤其在FB15k-237数据集上表现突出。
• 在相同内存预算下，如图1所示，DKGE在准确率和效率方面均优于连续模型。
• 当应用于来自TransE和DistMult的连续嵌入时，DKGE显著优于三种经典哈希函数（符号法、等间距法、Lloyd-Max法）。
• 在FB15k-237数据集上，DKGE在Hit@10指标上优于B-CP，尽管其内存消耗仅为后者的一半，表明在密集数据集上具有更优性能。
• 由于使用位运算处理离散编码，该方法展现出更低的计算复杂度和更快的推理速度，适用于边缘设备部署。
• 理论证明了离散优化算法的收敛性，验证了其稳定性和可靠性。