[论文解读] CFO: Conditional Focused Neural Question Answering with Large-scale Knowledge Bases

Zihang Dai, Lei Li+1 more|arXiv (Cornell University)|Jun 7, 2016

Topic Modeling参考文献 35被引用 27

一句话总结

CFO提出一种基于大规模知识库的条件聚焦神经网络，用于单 fact 问题问答。它使用聚焦剪枝减少候选实体，并采用统一的概率框架结合深度 RNN 和神经嵌入，实现 75.7% 的 top-1 准确率——在 108k 个问题的数据集上比之前的最先进方法高出 11.8%。

ABSTRACT

How can we enable computers to automatically answer questions like "Who created the character Harry Potter"? Carefully built knowledge bases provide rich sources of facts. However, it remains a challenge to answer factoid questions raised in natural language due to numerous expressions of one question. In particular, we focus on the most common questions --- ones that can be answered with a single fact in the knowledge base. We propose CFO, a Conditional Focused neural-network-based approach to answering factoid questions with knowledge bases. Our approach first zooms in a question to find more probable candidate subject mentions, and infers the final answers with a unified conditional probabilistic framework. Powered by deep recurrent neural networks and neural embeddings, our proposed CFO achieves an accuracy of 75.7% on a dataset of 108k questions - the largest public one to date. It outperforms the current state of the art by an absolute margin of 11.8%.

研究动机与目标

• 解决使用大规模知识库回答自然语言单 fact 问题的挑战。
• 克服在将问题映射到 KB 三元组时面临的语言变体和弱监督问题。
• 在不损失召回率的前提下减少主体-关系对的搜索空间，以提高推理准确率。
• 在高度弱监督下通过类型向量和神经网络改进实体表示的泛化能力。
• 开发一个统一的条件概率框架，联合建模关系和主体推理。

提出的方法

• 通过先推理关系 $ r $，再给定 $ r $ 推理主体 $ s $ 的方式，对联合概率 $ p(s,r|q) $ 进行条件因子分解。
• 采用聚焦剪枝策略，通过在问题文本上使用 BiGRU-CRF 序列标注模型识别高概率主体提及。
• 使用带有双向 GRU 和神经嵌入的统一神经网络框架，建模问题语义并计算 $ p(r|q) $ 和 $ p(s|r,q) $。
• 引入类型向量方案，在无需训练的情况下表示实体，提升在弱监督下的泛化能力。
• 采用多阶段推理流水线：聚焦剪枝减少候选实体，随后使用学习到的神经网络进行关系和主体打分。
• 利用条件概率框架，最终答案选择为 $ \hat{s}, \hat{r} = \arg\max_{s,r} p(s,r|q) $，通过深度神经网络进行估计。

实验结果

研究问题

• RQ1 如何在不损失召回率的前提下，有效减少单 fact 问题问答中主体-关系对的搜索空间？
• RQ2 使用神经序列标注进行聚焦剪枝对基于 KB 的问答整体准确率有何影响？
• RQ3 在弱监督下，不同神经网络架构对关系和主体打分的性能有何影响？
• RQ4 与独立建模关系和主体相比，统一的条件概率框架能否提升准确率？
• RQ5 在低资源设置下，类型向量和共享嵌入在数百万实体上的泛化能力提升程度如何？

主要发现

• CFO 在 108k 个问题的数据集上实现 75.7% 的 top-1 准确率——目前最大的公开基准——比之前最先进方法高出 11.8 个百分点。
• 聚焦剪枝在召回率上与 N-gram 剪枝相当，但通过提高单候选情况的比例，显著提升了准确率。
• 用于聚焦剪枝的 BiGRU-CRF 模型实现 95.5% 的句子级标注准确率，优于基于特征的 CRF（91.2%），证明了序列建模的重要性。
• 将 BiGRU 主体网络替换为平均嵌入（Embed-AVG）会使准确率降低最多 4.3 个百分点，表明对问题语义的深度建模至关重要。
• 关系打分网络对性能的影响大于主体网络结构，表明建模 $ p(r|q) $ 比建模 $ p(s|r,q) $ 更具挑战性。
• 类型向量方案可在无需额外训练的情况下实现有效的实体表示，有助于在弱监督下提升泛化能力。