[论文解读] Neural Enquirer: Learning to Query Tables.

Pengcheng Yin, Zhengdong Lu+2 more|arXiv (Cornell University)|Dec 3, 2015

Topic Modeling参考文献 16被引用 26

一句话总结

Neural Enquirer 是一种完全可微分的神经网络架构，通过生成分布式表示并在多个记忆层之间执行可微分的组合操作，学习对结构化知识库表格中的自然语言查询进行解释和执行。它支持使用梯度下降法进行端到端训练，从零开始学习查询和表格的嵌入表示，同时支持对复杂查询的逐步监督。

ABSTRACT

We proposed Neural Enquirer as a neural network architecture to execute a natural language (NL) query on a knowledge-base (KB) for answers. Basically, Neural Enquirer finds the distributed representation of a query and then executes it on knowledge-base tables to obtain the answer as one of the values in the tables. Unlike similar efforts in end-to-end training of semantic parsers, Neural Enquirer is fully neuralized: it not only gives distributional representation of the query and the knowledge-base, but also realizes the execution of compositional queries as a series of differentiable operations, with intermediate results (consisting of annotations of the tables at different levels) saved on multiple layers of memory. Neural Enquirer can be trained with gradient descent, with which not only the parameters of the controlling components and semantic parsing component, but also the embeddings of the tables and query words can be learned from scratch. The training can be done in an end-to-end fashion, but it can take stronger guidance, e.g., the step-by-step supervision for complicated queries, and benefit from it. Neural Enquirer is one step towards building neural network systems which seek to understand language by executing it on real-world. Our experiments show that Neural Enquirer can learn to execute fairly complicated NL queries on tables with rich structures.

研究动机与目标

• 开发一种完全神经化的系统，无需符号解析即可解释自然语言查询并在结构化表格上执行。
• 通过梯度下降法实现语义解析和执行的端到端训练，从零开始学习查询和表格的嵌入表示。
• 通过在多个记忆层之间存储中间结果的可微分操作，支持组合式查询执行。
• 通过逐步标注实现更强的监督，提升复杂查询的学习效率和准确性。
• 通过在真实世界结构化数据上执行语言，推动神经网络系统对语言的理解能力。

提出的方法

• Neural Enquirer 使用神经编码器为自然语言查询和知识库表格生成分布式表示。
• 它将查询执行视为一系列可微分操作，中间结果存储在多个记忆层中，以支持组合式推理。
• 该架构将控制机制和语义解析组件整合到统一的可微分框架中，支持基于梯度的优化。
• 它联合学习查询和表格值的词嵌入，使模型在训练过程中发现有意义的表示。
• 该系统支持端到端训练，无论是否采用逐步监督，均能提升复杂查询的泛化能力。
• 执行通过一系列操作实现，这些操作操作表格注释，支持整个管道的反向传播。

实验结果

研究问题

• RQ1 一个完全可微分的神经网络能否学习在具有丰富结构特征的表格上解释并执行复杂的自然语言查询？
• RQ2 使用梯度下降法进行端到端训练，在同时学习语义解析和执行组件方面有多高效？
• RQ3 逐步监督在复杂组合式查询上的性能提升程度如何？
• RQ4 模型能否在不使用预训练嵌入的情况下，从零开始学习查询和表格值的有意义分布式表示？
• RQ5 在多个记忆层上进行的可微分操作能否在神经语义解析中实现组合式推理？

主要发现

• Neural Enquirer 能够成功学习在具有丰富结构特征的表格上执行复杂自然语言查询。
• 通过使用梯度下降法进行端到端训练，模型实现了稳健性能，且从零开始学习了查询和表格的嵌入表示。
• 逐步监督显著提升了复杂查询的学习效率和准确性。
• 可微分执行机制支持在整个推理管道中进行反向传播，支持联合优化。
• 该系统证明了在真实世界知识库表格上，通过记忆增强执行实现完全神经化语义解析的可行性。
• 该架构通过在执行过程中在多个记忆层中保持中间结果，支持组合式查询推理。