[论文解读] Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision

Liang Chen, Jonathan Berant+3 more|arXiv (Cornell University)|Oct 31, 2016

Topic Modeling参考文献 40被引用 44

一句话总结

该论文提出了神经符号机器（NSM），一种结合神经序列到序列程序员与符号Lisp解释器的框架，通过弱监督在Freebase上进行语义解析。通过利用关键变量内存实现组合性，并采用带有迭代最大似然预训练的REINFORCE算法以稳定学习过程，NSM在WebQuestionsSP上实现了最先进性能，且无需特征工程或完全监督。

ABSTRACT

Harnessing the statistical power of neural networks to perform language understanding and symbolic reasoning is difficult, when it requires executing efficient discrete operations against a large knowledge-base. In this work, we introduce a Neural Symbolic Machine, which contains (a) a neural "programmer", i.e., a sequence-to-sequence model that maps language utterances to programs and utilizes a key-variable memory to handle compositionality (b) a symbolic "computer", i.e., a Lisp interpreter that performs program execution, and helps find good programs by pruning the search space. We apply REINFORCE to directly optimize the task reward of this structured prediction problem. To train with weak supervision and improve the stability of REINFORCE, we augment it with an iterative maximum-likelihood training process. NSM outperforms the state-of-the-art on the WebQuestionsSP dataset when trained from question-answer pairs only, without requiring any feature engineering or domain-specific knowledge.

研究动机与目标

• 为解决从弱监督训练语义解析器的挑战，即完整程序注释成本高且稀缺。
• 通过非可微分解释器实现在大型知识库（如Freebase）上的高效、可扩展且精确的符号推理。
• 通过集成一个符号计算机以剪枝搜索空间，克服使用不可微分符号操作训练神经网络的困难。
• 通过强化学习直接优化结构化预测的任务级奖励，同时通过迭代最大似然预训练提升训练稳定性。
• 在不依赖领域特定特征或手工设计语法的情况下，弥合弱监督与全监督语义解析之间的性能差距。

提出的方法

• NSM框架由一个神经‘程序员’组成，其使用带有关键变量内存的序列到序列模型，将自然语言问题映射为可执行程序，以存储和重用中间结果。
• 一个符号‘计算机’——非可微分的Lisp解释器——在Freebase上执行程序，实现对大规模知识库的高效、抽象且精确的操作。
• 系统使用友好的神经计算机接口，在生成过程中验证并剪枝无效的程序候选，从而减少搜索空间。
• 通过REINFORCE算法进行训练，以最大化任务奖励（例如，正确答案预测），直接优化结构化预测性能。
• 为稳定训练，采用迭代最大似然阶段：束搜索生成伪黄金程序，随后用于增强REINFORCE目标。
• 关键变量内存机制通过允许模型使用变量名（如R1表示‘美国的所有城市’）引用先前结果，有效支持组合性语义。

实验结果

研究问题

• RQ1 仅使用问题-答案对而无需完整程序注释，神经符号系统能否在语义解析中实现优异性能？
• RQ2 如何在生成符号程序的神经网络中有效建模语言理解中的组合性？
• RQ3 能否将不可微分的符号计算机集成到可微分训练流程中，以实现端到端学习？
• RQ4 何种训练策略可稳定在高维、不可微分的程序生成搜索空间中的强化学习？
• RQ5 弱监督在多大程度上能弥合弱监督与全监督语义解析之间的性能差距？

主要发现

• NSM在仅使用问题-答案对进行训练时，在WebQuestionsSP数据集上实现了最先进性能，且无需任何特征工程或领域特定知识。
• 该模型显著缩小了弱监督与全监督之间的性能差距，证明了所提训练策略的有效性。
• 将符号Lisp解释器与神经程序员结合，实现了在Freebase大规模知识库（1亿实体，2万多个属性）上的可扩展且精确的执行。
• 关键变量内存机制通过支持模型在程序生成过程中引用和重用中间结果，有效支持组合性语义。
• 将REINFORCE与迭代最大似然预训练相结合，稳定了学习过程并提升了收敛性，在缺乏全监督的情况下优于标准REINFORCE。
• 该系统可端到端训练，且无需手工设计语法规则、注意力机制或可微分内存，与先前方法形成鲜明区别。