[论文解读] A General FOFE-net Framework for Simple and Effective Question Answering over Knowledge Bases

Dekun Wu, Nana Nosirova+2 more|arXiv (Cornell University)|Mar 29, 2019

Topic Modeling参考文献 19被引用 9

一句话总结

本文提出 FOFE-net，一种简单而有效的神经框架，结合固定大小的序数遗忘编码（FOFE）与前馈深度神经网络，用于知识库问答（KB-QA）。它在 SimpleQuestions、WebQSP 和 FreebaseQA 数据集上，在实体链接、关系检测和整体 KB-QA 任务中均表现出色，以极低的架构复杂度和极少的启发式规则，超越或匹配了当前最先进模型的性能。

ABSTRACT

Question answering over knowledge base (KB-QA) has recently become a popular research topic in NLP. One popular way to solve the KB-QA problem is to make use of a pipeline of several NLP modules, including entity discovery and linking (EDL) and relation detection. Recent success on KB-QA task usually involves complex network structures with sophisticated heuristics. Inspired by a previous work that builds a strong KB-QA baseline, we propose a simple but general neural model composed of fixed-size ordinally forgetting encoding (FOFE) and deep neural networks, called FOFE-net to solve KB-QA problem at different stages. For evaluation, we use two popular KB-QA datasets, SimpleQuestions and WebQSP, and a newly created dataset, FreebaseQA. The experimental results show that FOFE-net performs well on KB-QA subtasks, entity discovery and linking (EDL) and relation detection, and in turn pushing overall KB-QA system to achieve strong results on all datasets.

研究动机与目标

• 开发一种简单但强大的神经框架，在 KB-QA 任务中超越复杂模型，且不依赖复杂的架构或大量启发式规则。
• 探究固定大小的序数遗忘编码（FOFE）是否能有效表示 KB-QA 子任务（如实体链接和关系检测）中可变长度序列。
• 评估统一模型架构在多个 KB-QA 流水线阶段（实体发现、实体链接和关系检测）中的泛化能力。
• 证明极简、轻量级模型可在涵盖 SimpleQuestions、WebQSP 和 FreebaseQA 的多样化 KB-QA 基准上实现具有竞争力的性能。
• 为未来 KB-QA 研究提供一个强大且简单的基线，既易于实现，又具有高度有效性。

提出的方法

• 使用 FOFE 编码将可变长度输入序列（如问题）无损地转换为固定大小的表示，同时保留序数信息。
• 使用标准的前馈深度神经网络（DNN）作为通用函数逼近器，对编码输入中的复杂关系进行建模，以支持下游任务。
• 将相同的 FOFE-net 架构应用于三种不同的 KB-QA 子任务：主题主语发现、实体链接和关系检测，实现模型在各阶段的复用。
• 在每个任务的标注数据上端到端训练 FOFE-net，使用交叉熵损失进行分类任务（如实体链接和关系检测）。
• 将 FOFE-net 组件整合到流水线中：首先检测主题实体，然后将其链接到知识库实体，检测关系，并应用约束以优化答案。
• 在 FOFE 中使用较大的 θ 值，以降低在 FreebaseQA 等挑战性数据集上实体链接过程中噪声或过多候选实体的影响。

实验结果

研究问题

• RQ1 基于 FOFE 和 DNN 的简单统一神经框架，是否能在无需复杂架构或大量启发式规则的前提下，在多个 KB-QA 子任务中实现优异性能？
• RQ2 在 SimpleQuestions 和 WebQSP 等标准 KB-QA 基准上，FOFE-net 在实体链接和关系检测任务中与最先进模型相比表现如何？
• RQ3 为何 FOFE-net 在 FreebaseQA 数据集上的表现劣于 SimpleQuestions 和 WebQSP？导致这一性能差距的因素有哪些？
• RQ4 在端到端 KB-QA 中，极简的模型架构配合极少的启发式规则，究竟能在多大程度上实现具有竞争力的结果，尤其与更复杂的模型相比？
• RQ5 与标准嵌入技术相比，FOFE 编码是否能提升 KB-QA 任务中的序列表示能力？

主要发现

• 在 SimpleQuestions 数据集上，FOFE-net 达到 82.2% 的 top-1 准确率，优于先前的最先进模型（如 HR-BiLSTM 和 AMPCNN）。
• 在 WebQSP 上，FOFE-net 达到 89.1% 的 top-1 准确率，略高于 S-Mart 基线，并与其它近期模型持平或更优。
• 在实体链接任务中，FOFE-net 在 SimpleQuestions 上达到 93.3% 的 top-1 准确率，在 WebQSP 上达到 83.26%，在两个数据集上均超越了之前的 SOTA 模型。
• 在 FreebaseQA 上，FOFE-net 达到 52.4% 的 top-1 准确率，低于其他数据集，可能是因为候选提及与真实实体的平均比率更高（11.6 对比 8.0 和 4.4）。
• FOFE-net 的关系检测组件在 SimpleQuestions 上与 HR-BiLSTM 表现持平，在 WebQSP 上高出 0.73%，展现出极简架构下的强劲性能。
• 在 FreebaseQA 上的性能差距归因于每个问题的冗余实体候选数量更多（平均 11.6 个），使得实体链接任务比其他数据集更具挑战性。