[论文解读] Efficient Relation-aware Scoring Function Search for Knowledge Graph Embedding

Shimin Di, Quanming Yao+2 more|arXiv (Cornell University)|Apr 22, 2021

Advanced Graph Neural Networks参考文献 50被引用 4

一句话总结

该论文提出ERAS，一种基于超网络的一次性神经架构搜索方法，用于在知识图嵌入中学习关系感知的打分函数。通过在共享超网络中建模特定于关系的打分函数，并采用高效的交替最小化方法，ERAS在基准数据集上实现了最先进性能，相较于现有的基于AutoML的方法，在泛化能力和效率方面均有提升。

ABSTRACT

The scoring function, which measures the plausibility of triplets in knowledge graphs (KGs), is the key to ensure the excellent performance of KG embedding, and its design is also an important problem in the literature. Automated machine learning (AutoML) techniques have recently been introduced into KG to design task-aware scoring functions, which achieve state-of-the-art performance in KG embedding. However, the effectiveness of searched scoring functions is still not as good as desired. In this paper, observing that existing scoring functions can exhibit distinct performance on different semantic patterns, we are motivated to explore such semantics by searching relation-aware scoring functions. But the relation-aware search requires a much larger search space than the previous one. Hence, we propose to encode the space as a supernet and propose an efficient alternative minimization algorithm to search through the supernet in a one-shot manner. Finally, experimental results on benchmark datasets demonstrate that the proposed method can efficiently search relation-aware scoring functions, and achieve better embedding performance than state-of-the-art methods.

研究动机与目标

• 为解决现有打分函数对所有关系一视同仁的局限性，尽管知识图中存在不同的语义模式。
• 设计一个能够实现关系感知打分函数选择的搜索空间，以提升模型的表达能力和泛化性能。
• 通过将搜索空间编码为超网络并支持一次性架构搜索，降低关系感知搜索的计算成本。
• 开发一种高效的优化算法，通过交替更新打分函数和嵌入表示，避免过拟合。

提出的方法

• 该方法通过基于语义模式对关系进行分组，并为每组分配不同的打分函数，将关系感知打分函数搜索问题形式化。
• 构建一个统一所有关系组中候选打分函数的超网络，实现参数共享并支持高效搜索。
• 采用一次性架构搜索策略，即超网络仅训练一次，不同子网络可直接评估而无需重新训练。
• 提出一种交替最小化算法，通过交替更新打分函数和实体-关系嵌入表示，联合优化两者。
• 搜索过程利用验证性能指导每组关系最优打分函数的选择，确保模型泛化能力。
• 在搜索过程中动态分配关系到组别，避免因人工定义语义分组带来的偏差。

实验结果

研究问题

• RQ1 与任务感知但关系无关的方法相比，关系感知打分函数搜索策略是否能显著提升知识图嵌入性能？
• RQ2 如何在不从头训练每个候选函数的前提下，高效探索关系感知打分函数的巨大搜索空间？
• RQ3 与静态的人工定义分组相比，动态关系分组对模型性能有何影响？
• RQ4 关系组数量和模块数量如何影响性能与效率之间的权衡？
• RQ5 基于超网络的一次性NAS方法是否能在保持高搜索效率的同时取得具有竞争力的结果？

主要发现

• ERAS在所有基准数据集上均达到最先进性能，MRR分数分别为：WN18上0.953，WN18RR上0.492，FB15K上0.855，FB15k237上0.365，YAGO3-10上0.577。
• 该方法在所有数据集上均优于AutoSF及其他SOTA基线模型，证明了关系感知打分函数设计的有效性。
• ERAS在3–4个关系组时达到最优性能，表明适度分组可在不引入过多复杂性的情况下提升泛化能力。
• ERAS中的双层优化策略相比单层优化展现出更好的泛化性能，验证集表现更优。
• 基于超网络的一次性搜索实现了高效的训练与推理，支持灵活设置模块数量和分组策略。
• 通过搜索实现的动态分组优于人工定义的语义分组，表明数据驱动的分配方式比先验假设更有效。