[论文解读] Learning a Natural Language Interface with Neural Programmer

Arvind Neelakantan, Quoc V. Le+3 more|arXiv (Cornell University)|Nov 28, 2016

Topic Modeling被引用 36

一句话总结

该论文提出了一种基于 Neural Programmer 的弱监督端到端神经网络模型，无需标注程序或领域特定语法，即可学习数据库表的自然语言接口。通过使用软选择并仅在问题-答案对上进行训练，该模型在 WikiTableQuestions 数据集上使用 15 个模型的集成实现了 37.7% 的准确率，达到最先进性能，且监督程度最低。

ABSTRACT

Learning a natural language interface for database tables is a challenging task that involves deep language understanding and multi-step reasoning. The task is often approached by mapping natural language queries to logical forms or programs that provide the desired response when executed on the database. To our knowledge, this paper presents the first weakly supervised, end-to-end neural network model to induce such programs on a real-world dataset. We enhance the objective function of Neural Programmer, a neural network with built-in discrete operations, and apply it on WikiTableQuestions, a natural language question-answering dataset. The model is trained end-to-end with weak supervision of question-answer pairs, and does not require domain-specific grammars, rules, or annotations that are key elements in previous approaches to program induction. The main experimental result in this paper is that a single Neural Programmer model achieves 34.2% accuracy using only 10,000 examples with weak supervision. An ensemble of 15 models, with a trivial combination technique, achieves 37.7% accuracy, which is competitive to the current state-of-the-art accuracy of 37.1% obtained by a traditional natural language semantic parser.

研究动机与目标

• 开发一种神经网络模型，无需标注程序或手工构建的语法规则，即可学习将自然语言问题映射到数据库表上的可执行程序。
• 通过仅使用问题-答案对作为监督信号，实现端到端训练，避免昂贵的程序标注。
• 通过在训练中使用软选择，提高程序归纳的样本效率，更有效地探索搜索空间。
• 证明神经模型可在不依赖符号程序搜索或领域特定规则的情况下，实现复杂现实世界推理任务的竞争力表现。

提出的方法

• 该模型在每个时间步对表列应用一系列离散操作，如选择、计数、打印和比较。
• 它使用三个关键变量：行选择器（用于信息传播）、标量答案（用于数值输出）和查找答案（用于表项）。
• 训练期间使用软选择，通过反向传播实现可微更新，从而实现端到端学习，无需硬性决策或强化学习。
• 通过增强目标函数以处理答案位置在现实世界中的模糊性，特别是当答案在表中未显式标记时。
• 模型仅在 WikiTableQuestions 数据集的 10,000 个问题-答案对上进行训练，无需程序标注或语法规则。
• 通过使用 15 个模型的集成和简单的组合策略来评估性能，以提高鲁棒性和准确性。

实验结果

研究问题

• RQ1 神经网络能否仅从问题-答案对中学习生成可执行程序，而无需程序标注？
• RQ2 软选择在提高现实世界数据集中程序归纳的样本效率方面有多有效？
• RQ3 神经模型能否在不依赖领域特定语法或规则的情况下，实现复杂多步推理任务的竞争力表现？
• RQ4 模型集成和架构选择对弱监督程序归纳性能的影响如何？

主要发现

• 单个 Neural Programmer 模型仅使用 10,000 个弱监督样本，在 WikiTableQuestions 测试集上达到 34.2% 的准确率。
• 15 个模型的集成达到 37.7% 的准确率，与最先进语义解析器的 37.1% 相当。
• 在 30.7% 的情况下，模型生成标量答案；在其余 69.3% 的正确回答示例中，执行了表项查找。
• 最常使用的操作是打印（69.3%）和选择（66.7%），表明它们在生成程序中的核心作用。
• 模型表现出显著的过拟合现象，训练集准确率为 53%，而测试集为 37.7%，表明在更多数据下仍有改进空间。
• 使用 15 个模型的最优性能在开发集上达到 50.5%，表明通过更好的泛化能力或更多数据仍可实现进一步提升。