[论文解读] AutoSF: Searching Scoring Functions for Knowledge Graph Embedding

Yongqi Zhang, Quanming Yao+2 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Graph Neural Networks参考文献 60被引用 8

一句话总结

AutoSF 提出了一种自动化机器学习（AutoML）框架，用于在知识图谱嵌入（KGE）中搜索最优打分函数（SFs），采用双线性模型的统一表示，并结合过滤器与预测器，实现渐进式贪婪搜索。该方法发现了新颖的、与知识图谱（KG）相关的打分函数，在链接预测和三元组分类基准测试中表现优于人工设计的最先进模型。

ABSTRACT

Scoring functions (SFs), which measure the plausibility of triplets in knowledge graph (KG), have become the crux of KG embedding. Lots of SFs, which target at capturing different kinds of relations in KGs, have been designed by humans in recent years. However, as relations can exhibit complex patterns that are hard to infer before training, none of them can consistently perform better than others on existing benchmark data sets. In this paper, inspired by the recent success of automated machine learning (AutoML), we propose to automatically design SFs (AutoSF) for distinct KGs by the AutoML techniques. However, it is non-trivial to explore domain-specific information here to make AutoSF efficient and effective. We firstly identify a unified representation over popularly used SFs, which helps to set up a search space for AutoSF. Then, we propose a greedy algorithm to search in such a space efficiently. The algorithm is further sped up by a filter and a predictor, which can avoid repeatedly training SFs with same expressive ability and help removing bad candidates during the search before model training. Finally, we perform extensive experiments on benchmark data sets. Results on link prediction and triplets classification show that the searched SFs by AutoSF, are KG dependent, new to the literature, and outperform the state-of-the-art SFs designed by humans.

研究动机与目标

• 为解决人工设计的打分函数（SFs）在具有不同关系模式的多样化知识图谱（KGs）中泛化能力差的挑战。
• 通过 AutoML 技术自动化发现最优、数据依赖的 SFs，减少人工在 SF 设计上的投入。
• 开发一种高效的搜索框架，能够在不完整训练所有候选函数的情况下识别高性能 SFs。
• 在搜索过程中引入特定领域的关系属性（例如对称性、逆关系），以提升有效性与泛化能力。
• 通过发现新颖的、此前未探索的、针对特定 KG 量身定制的打分函数，超越现有由人工设计的 SFs。

提出的方法

• 为基于双线性模型的 SFs 构建统一表示，从而构建一个涵盖已知与新型 SFs 的通用且表达能力强的搜索空间。
• 提出一种渐进式贪婪搜索算法，基于性能估计值迭代选择有前景的 SF 候选。
• 引入过滤器以消除表达能力相同的冗余 SFs，避免重复训练。
• 利用在 SRF（结构化关系特征）表示上训练的预测器模型，预先估计 SF 性能，避免完整训练。
• 使用结构化关系特征（SRFs）编码关系模式（例如对称性、逆关系），并通过领域特定的归纳偏置引导搜索。
• 采用两阶段流程：首先在低维 SFs（d=64）中进行搜索，然后在高维空间（d∈{256,512,1024,2048}）上微调超参数。

实验结果

研究问题

• RQ1 自动化搜索框架能否发现优于人工设计 SFs 的知识图谱嵌入打分函数？
• RQ2 对现有双线性 SFs 的统一表示如何实现有效且通用的搜索空间构建？
• RQ3 特定领域的关系属性（例如对称性、逆关系）在高效 SF 搜索中起到何种作用？
• RQ4 过滤器与预测器在不损失性能的前提下，对降低搜索成本有多有效？
• RQ5 所提出的 AutoSF 框架能否在大规模 KG 上高效扩展，同时保持高精度？

主要发现

• AutoSF 发现了新颖的、与 KG 相关的打分函数，且这些函数在文献中未被提及，证明了该方法能够探索未被探索的搜索空间。
• 所搜索到的 SFs 在多个基准数据集（包括 WN18、FB15K、WN18RR、FB15k237 和 YAGO3-10）的链接预测与三元组分类任务中均达到最先进性能。
• 引入过滤器与预测器显著提升了搜索效率，相比贪婪搜索或随机搜索，大幅减少了完整模型训练的次数。
• 整个搜索过程仅耗时数小时（使用 8 张 GPU），其中 YAGO3-10 的搜索时间不足一天，远快于先前方法（如强化学习需 4 天（500 张 GPU）或遗传编程需 17 天（1 张 GPU））。
• 搜索成本与高维嵌入的微调成本相当，表明该搜索在计算上是可行的，适合实际部署。
• 消融实验证实，若移除过滤器或预测器，效率将下降，验证了二者在剪枝冗余与低性能候选中的关键作用。