[论文解读] Dynamic Anticipation and Completion for Multi-Hop Reasoning over Sparse Knowledge Graph

Xin Lv, Xu Han+7 more|arXiv (Cornell University)|Oct 5, 2020

Advanced Graph Neural Networks参考文献 27被引用 5

一句话总结

本文提出 DacKGR，一种基于强化学习的多跳推理模型，用于稀疏知识图谱，通过动态预测引导路径搜索，并通过动态补全在推理过程中注入合成关系。在五个数据集上的实验表明，DacKGR 在性能上优于最先进基线模型，尤其在低资源设置下，通过智能路径扩展和预测有效缓解了稀疏性问题。

ABSTRACT

Multi-hop reasoning has been widely studied in recent years to seek an effective and interpretable method for knowledge graph (KG) completion. Most previous reasoning methods are designed for dense KGs with enough paths between entities, but cannot work well on those sparse KGs that only contain sparse paths for reasoning. On the one hand, sparse KGs contain less information, which makes it difficult for the model to choose correct paths. On the other hand, the lack of evidential paths to target entities also makes the reasoning process difficult. To solve these problems, we propose a multi-hop reasoning model named DacKGR over sparse KGs, by applying novel dynamic anticipation and completion strategies: (1) The anticipation strategy utilizes the latent prediction of embedding-based models to make our model perform more potential path search over sparse KGs. (2) Based on the anticipation information, the completion strategy dynamically adds edges as additional actions during the path search, which further alleviates the sparseness problem of KGs. The experimental results on five datasets sampled from Freebase, NELL and Wikidata show that our method outperforms state-of-the-art baselines. Our codes and datasets can be obtained from https://github.com/THU-KEG/DacKGR

研究动机与目标

• 解决在路径有限且连通性低的稀疏知识图谱中多跳推理的挑战。
• 克服现有基于强化学习的模型在稀疏知识图谱上性能显著下降的问题，原因在于路径证据不足和引导能力弱。
• 开发一种通用的端到端框架，提升推理性能，且不依赖外部文本或领域特定数据。
• 引入动态策略，通过实时预测可能的路径并补全缺失关系，自适应地丰富推理过程。

提出的方法

• 通过将预训练知识图嵌入模型的预测结果注入强化学习智能体的状态，实现动态预测，以指导路径选择。
• 利用预训练的嵌入模型预测给定头实体和关系的潜在尾实体，推理过程中生成合成（额外）动作。
• 在每个推理步骤动态扩展动作空间，将这些预测的 (r, e) 对作为有效动作加入，增加路径探索选项。
• 使用 REINFORCE 算法将预测与补全机制整合进强化学习框架，以优化路径搜索策略。
• 通过调整选择额外动作的置信度阈值（α），在探索与利用之间保持平衡。
• 在 Freebase、NELL 和 Wikidata 的采样子集上端到端训练智能体，使用稀疏知识图谱模拟现实世界中的低连通性场景。

实验结果

研究问题

• RQ1 如何在连通性稀疏且路径证据有限的知识图谱中提升多跳推理性能？
• RQ2 预训练的知识图嵌入能否有效用于引导稀疏推理场景下的强化学习智能体？
• RQ3 在稀疏知识图谱中，动态添加的关系（补全）能在多大程度上增强强化学习智能体的推理能力？
• RQ4 与基线方法相比，预测与补全策略的结合在稀疏数据集上的性能表现如何？

主要发现

• DacKGR 在从 Freebase、NELL 和 Wikidata 中采样的五个基准数据集上达到最先进性能，包括 FB15K-237、WN18RR、NELL23K 和 WD-singer。
• 在最稀疏的数据集 WD-singer 上，DacKGR 显著优于现有基线模型，证明其在低连通性环境下的有效性。
• 动态补全策略使模型即使在原始知识图谱中不存在直接路径时，也能发现有效的推理路径，案例研究已证实这一点。
• 动态预测策略通过提供有信息的引导，减少了随机探索，提升了样本效率和收敛速度。
• 模型在不同稀疏度水平下表现稳定，即使在中等稀疏数据集 FB15K-237-50% 上也仅有轻微性能下降。
• 消融实验表明，预测与补全策略均独立且协同地促进模型成功，其中补全策略在高度稀疏图中影响最大。