[论文解读] Neural Enquirer: Learning to Query Tables with Natural Language

Pengcheng Yin, Zhengdong Lu+2 more|arXiv (Cornell University)|Dec 3, 2015

Topic Modeling参考文献 16被引用 27

一句话总结

Neural Enquirer 提出了一种完全可微分的、端到端的神经网络架构，通过将查询和表格编码为分布式表示，并在多个记忆层中存储一系列可微分操作，实现对知识库表格中自然语言查询的解析与执行。该模型在未见过的查询组合上展现出强大的泛化能力，证明了端到端神经执行复杂、结构化查询的可行性。

ABSTRACT

We proposed Neural Enquirer as a neural network architecture to execute a natural language (NL) query on a knowledge-base (KB) for answers. Basically, Neural Enquirer finds the distributed representation of a query and then executes it on knowledge-base tables to obtain the answer as one of the values in the tables. Unlike similar efforts in end-to-end training of semantic parsers, Neural Enquirer is fully "neuralized": it not only gives distributional representation of the query and the knowledge-base, but also realizes the execution of compositional queries as a series of differentiable operations, with intermediate results (consisting of annotations of the tables at different levels) saved on multiple layers of memory. Neural Enquirer can be trained with gradient descent, with which not only the parameters of the controlling components and semantic parsing component, but also the embeddings of the tables and query words can be learned from scratch. The training can be done in an end-to-end fashion, but it can take stronger guidance, e.g., the step-by-step supervision for complicated queries, and benefit from it. Neural Enquirer is one step towards building neural network systems which seek to understand language by executing it on real-world. Our experiments show that Neural Enquirer can learn to execute fairly complicated NL queries on tables with rich structures.

研究动机与目标

• 开发一种完全神经网络化、端到端可微分的系统，能够解析和执行结构化知识库表格上的自然语言查询。
• 克服依赖手工规则和预定义逻辑形式的符号语义解析器的局限性。
• 通过使用查询-答案对进行数据驱动训练，实现查询规划和符号操作的联合学习。
• 通过组合已知操作，实现对未见过的组合性查询模式的泛化。
• 在可微分、记忆增强的框架中，将神经执行扩展至复杂、多步骤查询。

提出的方法

• 使用双向 RNN 将自然语言查询编码为稠密向量表示。
• 使用独立编码器将知识库表格中的每个条目嵌入分布式向量，同时保留表格的二维结构。
• 通过一系列神经执行器的级联流水线执行查询，每个执行器对表格数据执行可微分操作。
• 将中间执行结果作为注释存储在多个外部记忆层中，以支持分层推理。
• 使用梯度下降端到端优化整个系统，联合学习查询嵌入、表格嵌入、控制器参数和操作函数。
• 支持对复杂查询的逐步监督，从而在训练期间提供更强的指导。

实验结果

研究问题

• RQ1 一个完全可微分的神经网络能否学习将自然语言查询映射到结构化表格上的可执行操作？
• RQ2 通过组合已知操作，该模型能否在未见过的组合性查询上实现泛化？
• RQ3 使用查询-答案对进行端到端训练，能否有效学习语义解析和执行逻辑？
• RQ4 随着查询复杂度和表格结构的增加，该模型的性能如何变化？
• RQ5 具有多个记忆层的神经系统是否能在组合推理任务中超越符号或混合方法？

主要发现

• Neural Enquirer 成功学习在结构丰富、合成的知识库表格上执行复杂、组合性的自然语言查询。
• 该模型在未见过的查询组合上泛化良好，表明通过在简单已知操作上的训练，有效学习了组合模式。
• 使用梯度下降的端到端训练实现了查询嵌入、表格嵌入和神经执行组件的联合优化。
• 即使测试查询的组合性超过训练查询，系统仍表现出优异性能，证明了其强大的泛化能力。
• 使用多个记忆层存储中间结果，支持分层推理，并促进复杂、多步骤查询的执行。
• 该模型通过完全神经化查询规划和符号操作，避免了对手工编码逻辑形式的依赖，优于先前方法。