[论文解读] CascadER: Cross-Modal Cascading for Knowledge Graph Link Prediction

Tara Safavi, Doug Downey+1 more|arXiv (Cornell University)|May 16, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

CascadER 提出了一种跨模态级联架构，通过使用日益复杂的语言模型（LMs）对知识图谱嵌入（KGEs）进行分层重排序，实现了对知识图谱链接预测的性能提升，同时通过自适应子集选择最小化昂贵的语言模型推理开销。该方法在保持推理成本降低一个数量级以上的同时，将 MRR 指标提升至最先进水平，最高提升达 9 个百分点。

ABSTRACT

Knowledge graph (KG) link prediction is a fundamental task in artificial intelligence, with applications in natural language processing, information retrieval, and biomedicine. Recently, promising results have been achieved by leveraging cross-modal information in KGs, using ensembles that combine knowledge graph embeddings (KGEs) and contextual language models (LMs). However, existing ensembles are either (1) not consistently effective in terms of ranking accuracy gains or (2) impractically inefficient on larger datasets due to the combinatorial explosion problem of pairwise ranking with deep language models. In this paper, we propose a novel tiered ranking architecture CascadER to maintain the ranking accuracy of full ensembling while improving efficiency considerably. CascadER uses LMs to rerank the outputs of more efficient base KGEs, relying on an adaptive subset selection scheme aimed at invoking the LMs minimally while maximizing accuracy gain over the KGE. Extensive experiments demonstrate that CascadER improves MRR by up to 9 points over KGE baselines, setting new state-of-the-art performance on four benchmarks while improving efficiency by one or more orders of magnitude over competitive cross-modal baselines. Our empirical analyses reveal that diversity of models across modalities and preservation of individual models' confidence signals help explain the effectiveness of CascadER, and suggest promising directions for cross-modal cascaded architectures. Code and pretrained models are available at https://github.com/tsafavi/cascader.

研究动机与目标

• 为解决跨模态知识图谱链接预测中的准确率-效率权衡问题，即完整集成深度语言模型的基线方法过于缓慢，而简单集成方法性能不足。
• 设计一种分层重排序系统，在显著降低计算成本的同时保持高排名准确性，通过最小化对昂贵语言模型的调用次数实现。
• 探究模型多样性与置信度信号保留如何在知识图谱补全任务中促进有效的跨模态集成。
• 开发一种动态剪枝策略，使每一级级联中仅对最具前景的候选对象调用更深层模型进行推理。

提出的方法

• CascadER 采用三级架构：首先由基础 KGE 模型对所有候选对象进行打分，随后依次使用复杂度递增的语言模型（双编码器、交叉编码器）仅对最优质候选对象进行重排序。
• 在每一级中，通过分位数阈值（如 q=0.5、q=0.9）动态剪枝机制选择候选对象，从而减少传递至下一级的候选数量。
• 通过模型分数的加法重加权机制保留基础模型的置信度信号，防止基于边际差异的排名信号被稀释。
• 该方法依赖自适应子集选择策略，仅在最具不确定性或最有希望的候选对象上调用计算成本高昂的交叉编码器语言模型，从而最小化计算开销。
• 通过级联重排序流水线整合 KGE 与 LMs，确保各阶段中结构信息与文本信息的完整性。
• 该框架采用可微分剪枝策略进行端到端训练，优化目标为 MRR 与 hits@k 指标。

实验结果

研究问题

• RQ1 是否可以通过逐级应用更复杂模型于更小候选集的级联架构，在降低计算成本的同时维持高链接预测准确率？
• RQ2 在跨模态链接预测中，跨模型保留置信度信号（如边际差异）对集成性能有何影响？
• RQ3 模型多样性（通过排名相关性与得分分布差异衡量）在多大程度上促进了跨模态集成的有效性？
• RQ4 在级联集成中，对单个模型分数进行重加权与简单平均相比，其影响如何？

主要发现

• CascadER 在四个基准测试上达到最先进性能，相较于最强的 KGE 基线，MRR 提升最高达 9 个百分点。
• 与使用交叉编码器对所有候选对进行推理的完整集成基线相比，该模型将推理成本降低了超过一个数量级。
• KGE 与交叉编码器对在 CoDEx-M 上表现出最低的排名相关性（0.2025），表明其具有高度多样性，这与更优的集成性能正相关。
• 与 KGE 和双编码器相比，交叉编码器的得分分布显著向左偏移，表明其对低置信度候选对象具有更激进的过滤能力。
• 移除加法重加权机制会使开发集 MRR 下降 6–8 个百分点，证明重加权机制有效保留了基础模型的关键置信度信号。
• 在重加权条件下，平均边际与真实答案排名之间的相关性显著更高，证实重加权机制有效维持了模型置信度的一致性。