[论文解读] Differentiable Reasoning over a Virtual Knowledge Base

Bhuwan Dhingra, Manzil Zaheer+4 more|ArXiv.org|Feb 25, 2020

Topic Modeling参考文献 36被引用 44

一句话总结

DrKIT 引入一个可微分模块，对一个被视为虚拟知识库的文本语料库进行遍历，使用带有稀疏 TFIDF 展开和 MIPS 的软多跳推理来检索并组装证据。

ABSTRACT

We consider the task of answering complex multi-hop questions using a corpus as a virtual knowledge base (KB). In particular, we describe a neural module, DrKIT, that traverses textual data like a KB, softly following paths of relations between mentions of entities in the corpus. At each step the module uses a combination of sparse-matrix TFIDF indices and a maximum inner product search (MIPS) on a special index of contextual representations of the mentions. This module is differentiable, so the full system can be trained end-to-end using gradient based methods, starting from natural language inputs. We also describe a pretraining scheme for the contextual representation encoder by generating hard negative examples using existing knowledge bases. We show that DrKIT improves accuracy by 9 points on 3-hop questions in the MetaQA dataset, cutting the gap between text-based and KB-based state-of-the-art by 70%. On HotpotQA, DrKIT leads to a 10% improvement over a BERT-based re-ranking approach to retrieving the relevant passages required to answer a question. DrKIT is also very efficient, processing 10-100x more queries per second than existing multi-hop systems.

研究动机与目标

• 在只有文本语料作为虚拟知识库时，激发回答复杂多跳问题的能力。
• 开发一个端到端的可微分模块（DrKIT），通过索引的提及来扩展并遵循软关系路径。
• 通过稀疏表示和基于 MIPS 的检索实现高效的多跳推理，预训练的提及编码器。
• 在 MetaQA、WikiData 槽位填充和 HotpotQA 上，相对于文本基线和知识库基线，展示更高的准确性和速度。

提出的方法

• 将多跳推理过程建模如下：将输入实体集合扩展为共现的提及，通过学习得到的相关性分数过滤提及，并聚合为一个新的实体集合；对多次跳数重复。
• 用可微分的稀疏矩阵运算和对提及的 top-K 硬选来表示扩展和聚合，从而实现端到端训练。
• 使用一个可微分的文本跟随操作，将 Z_t = Z_{t-1} . follow(R) 通过 A_E->M、top-K 过滤 T_K(s_t(.))，以及 B_M->E 聚合映射。
• 通过来自知识库的远 supervision 进行提及编码器 f(m) 的预训练，使用槽填充式问答，然后对提及嵌入进行索引并以固定嵌入训练问答任务。
• 用基于 BERT 的表示对提及进行编码；用 Transformer 编码问题；产生 MIPS 查询 g_t(q,z_{t-1})，有效检索 top-K 提及（O(Kp polylog|M|)）。
• 通过 ragged 稀疏表示和对 top-K 提及检索的精心过滤，保持在跨跳时活跃实体集的规模较小。

实验结果

研究问题

• RQ1 是否可以将大规模文本语料库有效用作可微分推理的虚拟知识库来进行多跳问答？
• RQ2 在索引文本上使用稀疏、可微分的多跳模块，是否能在高效推理的同时达到有竞争力的准确性？
• RQ3 TFIDF 共现扩展和提及表示的预训练对性能有多大影响？
• RQ4 端到端训练与级联或基于知识库的监督设置在多跳问答任务上有什么影响？

主要发现

• DrKIT 将 MetaQA 的两跳准确率提高了 5 个点，三跳提高了 9 个点，相较于先前的文本基线系统。
• DrKIT 将与知识库相关系统的差距缩小了 30%（2 跳）和 70%（3 跳）在 MetaQA 上。
• 在 WikiData 槽位填充任务中，DrKIT 超越 DrQA 和 PIQA 基线，尤其在端到端训练时。
• 在 HotpotQA 上，DrKIT 相对于同类多跳系统快 10 倍，同时在 Bert 基于重排序的检索质量方面有所提升。
• 在 KB 派生的远程监督下对提及编码器进行预训练，相比单用 BERT 表现有显著提升。
• 高效的稀疏矩阵实现和对 top-K 提及的 MIPS 检索使对大型语料的扩展成为可能（例如推理速度提升 10–100 倍）。