[论文解读] Complex Query Answering with Neural Link Predictors

Erik Arakelyan, Daniel Daza+2 more|arXiv (Cornell University)|Nov 6, 2020

Advanced Graph Neural Networks参考文献 37被引用 14

一句话总结

本文提出复杂查询分解（CQD）框架，通过将复杂的一阶逻辑查询分解为可微分的子查询，并利用预训练的神经链接预测器对子查询进行打分，从而在不完整知识图谱上回答复杂查询。该方法在远少于以往方法的训练数据下实现了最先进（SOTA）的准确率，同时通过中间变量赋值实现了模型可解释性。

ABSTRACT

Neural link predictors are immensely useful for identifying missing edges in large scale Knowledge Graphs. However, it is still not clear how to use these models for answering more complex queries that arise in a number of domains, such as queries using logical conjunctions ($\land$), disjunctions ($\lor$) and existential quantifiers ($\exists$), while accounting for missing edges. In this work, we propose a framework for efficiently answering complex queries on incomplete Knowledge Graphs. We translate each query into an end-to-end differentiable objective, where the truth value of each atom is computed by a pre-trained neural link predictor. We then analyse two solutions to the optimisation problem, including gradient-based and combinatorial search. In our experiments, the proposed approach produces more accurate results than state-of-the-art methods -- black-box neural models trained on millions of generated queries -- without the need of training on a large and diverse set of complex queries. Using orders of magnitude less training data, we obtain relative improvements ranging from 8% up to 40% in Hits@3 across different knowledge graphs containing factual information. Finally, we demonstrate that it is possible to explain the outcome of our model in terms of the intermediate solutions identified for each of the complex query atoms. All our source code and datasets are available online, at https://github.com/uclnlp/cqd.

研究动机与目标

• 解决在缺失事实阻碍传统子图匹配的不完整知识图谱上回答复杂逻辑查询（如合取、析取和存在量词）的挑战。
• 开发一种框架，从简单的单跳链接预测泛化到复杂查询，而无需为复杂查询收集大规模、多样化的训练数据。
• 通过暴露中间变量赋值和子查询得分，实现复杂查询回答的可解释性。
• 在避免完整知识图谱补全或黑箱神经查询编码器的计算不可行性的同时，实现高准确率。

提出的方法

• 该框架将每个复杂查询转化为端到端可微分的目标函数，其中每个原子子查询由预训练的神经链接预测器打分。
• 查询原子的真实性通过可微分链接预测模型（如 ComplEx 或 DistMult）计算，这些模型估计某一事实为真的可能性。
• 该框架采用两种优化策略：基于梯度的优化和组合束搜索（CQD-Beam），以识别高分的变量赋值。
• 使用 t-范数（如乘积 t-范数）对合取查询中多个原子的得分进行聚合，以可微分方式建模逻辑合取。
• 该方法与查询无关，无需为新查询类型重新训练，可实现对未见复杂查询结构的零样本泛化。
• 中间变量赋值被保留并用于解释最终答案，从而实现透明性和失败模式分析。

实验结果

研究问题

• RQ1 仅在单跳查询上进行训练的神经链接预测器，能否有效用于回答不完整知识图谱上的复杂多跳逻辑查询？
• RQ2 如何将复杂查询表述为可微分优化问题，以在保持可解释性的同时实现高准确率？
• RQ3 能否在无需数百万个复杂查询示例进行训练的情况下，使框架超越最先进黑箱神经查询编码器？
• RQ4 在查询分解过程中，中间变量赋值在多大程度上可用于解释和调试模型预测？
• RQ5 该框架在训练期间未见过的分布外查询结构上是否具备泛化能力？

主要发现

• CQD 框架在多个知识图谱上实现了 Hits@3 相对提升 8% 至 40%，优于最先进模型如 Query2Box 和 GQE。
• 该方法在远少于百万量级的训练数据下，准确率仍高于在数百万个合成复杂查询上训练的模型。
• CQD-Beam 在复杂查询中将正确答案排在前三位，其中间变量赋值能正确识别相关实体（如电影或国家）。
• 该框架实现了完全可解释性：中间得分和变量赋值可被检查，以追溯每个答案的推导过程，即使最终答案正确但推理过程有误。
• 当答案正确但中间赋值错误（如将托马斯·阿奎那错误分配国籍）时，该框架能揭示此类失败模式，而黑箱模型则无法做到。
• 使用 ComplEx 作为链接预测器的性能优于 DistMult，但两者在所有评估基准上均优于 GQE 和 Query2Box。