[论文解读] CBR-iKB: A Case-Based Reasoning Approach for Question Answering over Incomplete Knowledge Bases

Dung Thai, Srinivas Ravishankar+8 more|arXiv (Cornell University)|Apr 18, 2022

Topic Modeling被引用 8

一句话总结

CBR-iKB 提出了一种基于案例的推理方法，用于在不完整知识库上进行问答，通过 k-近邻检索推理链并采用非参数推理算法融合多种推理路径。在不完整-KB 设置下，其在 MetaQA 上达到 100% 准确率，在 WebQSP 上达到 70%，比之前最先进方法高出 22.3%，且无需任务特定微调。

ABSTRACT

Knowledge bases (KBs) are often incomplete and constantly changing in practice. Yet, in many question answering applications coupled with knowledge bases, the sparse nature of KBs is often overlooked. To this end, we propose a case-based reasoning approach, CBR-iKB, for knowledge base question answering (KBQA) with incomplete-KB as our main focus. Our method ensembles decisions from multiple reasoning chains with a novel nonparametric reasoning algorithm. By design, CBR-iKB can seamlessly adapt to changes in KBs without any task-specific training or fine-tuning. Our method achieves 100% accuracy on MetaQA and establishes new state-of-the-art on multiple benchmarks. For instance, CBR-iKB achieves an accuracy of 70% on WebQSP under the incomplete-KB setting, outperforming the existing state-of-the-art method by 22.3%.

研究动机与目标

• 解决知识库不完整且频繁更新时的知识库问答（KBQA）挑战。
• 克服现有监督式 KBQA 系统依赖完整知识库且在知识库更新时需微调的局限性。
• 通过利用过去相似问题的多种合理推理链，实现鲁棒问答，即使部分推理链因缺少知识库事实而不可用。
• 设计一种非参数化、基于实例的方法，可无缝适应知识库更新，无需重新训练或微调。
• 通过在多样化推理路径上集成决策，提升低资源和稀疏知识库环境下的泛化能力和鲁棒性。

提出的方法

• 维护一个包含问题及其对应推理链（从查询实体到答案的路径）的案例库。
• 使用密集检索器，基于问题嵌入为新查询查找 k-最近邻（k-NN）推理链。
• 应用一种新颖的非参数推理算法，从 k-NN 推理链中生成合理的推理链，适应缺失的知识库事实。
• 采用投票机制，每条推理链根据其预测答案贡献一个得分，最终预测基于多数投票确定。
• 在推理过程中引入“修订并保留”步骤，以过滤虚假推理链并提升推理链质量。
• 在检索过程中对问题嵌入中的实体提及进行掩码，以提升邻域相似性与推理链一致性。

实验结果

研究问题

• RQ1 基于案例的推理结合过去推理链的 k-NN 检索，能否提升在不完整知识库设置下的问答鲁棒性？
• RQ2 当关键知识库事实缺失时，非参数推理算法在生成合理推理路径方面的有效性如何？
• RQ3 与依赖单一预测推理链相比，集成多条推理链在多大程度上能提升准确率？
• RQ4 在问题嵌入中对实体提及进行掩码，对检索质量与下游推理链一致性有何影响？
• RQ5 在低资源和动态知识库环境中，非参数化、基于实例的方法能否超越参数化、微调模型？

主要发现

• 在所有测试设置下，包括不完整-KB 条件，CBR-iKB 在 MetaQA 基准上达到 100% 准确率。
• 在 WebQSP 上使用半采样知识库时，CBR-iKB 达到 70% 准确率，比之前最先进方法高出 22.3 个百分点。
• “修订并保留”步骤对 MetaQA 至关重要，可过滤掉 99.9% 的虚假推理链，但在 WebQSP 上影响较小，因开发集较小。
• 在问题嵌入中对实体提及进行掩码，相比非掩码版本，能更一致地检索到标准答案推理链。
• CBR-iKB 在完整-KB WebQSP 上也保持强劲性能，相比之前方法分别提升 1.6% 和 8.3%，表明随着知识库变得稀疏，文本信息的价值更高。
• 该方法具有内在适应性：新知识库事实可自动融入推理链，无需重新训练或微调。