[论文解读] Compositional Generalization via Neural-Symbolic Stack Machines

Xinyun Chen, Liang, Chen+3 more|arXiv (Cornell University)|Aug 15, 2020

Natural Language Processing Techniques参考文献 49被引用 8

一句话总结

本文提出神经符号堆栈机（Neural-Symbolic Stack Machines, NeSS），一种可微分的神经网络，通过序列操作控制符号堆栈机以实现组合泛化。通过利用操作等价性和课程学习，NeSS 在四个基准测试中均实现了 100% 的泛化性能——包括 SCAN、少样本组合指令学习、组合机器翻译和上下文无关语法解析——且在训练过程中无需真实执行轨迹。

ABSTRACT

Despite achieving tremendous success, existing deep learning models have exposed limitations in compositional generalization, the capability to learn compositional rules and apply them to unseen cases in a systematic manner. To tackle this issue, we propose the Neural-Symbolic Stack Machine (NeSS). It contains a neural network to generate traces, which are then executed by a symbolic stack machine enhanced with sequence manipulation operations. NeSS combines the expressive power of neural sequence models with the recursion supported by the symbolic stack machine. Without training supervision on execution traces, NeSS achieves 100% generalization performance in four domains: the SCAN benchmark of language-driven navigation tasks, the task of few-shot learning of compositional instructions, the compositional machine translation benchmark, and context-free grammar parsing tasks.

研究动机与目标

• 为解决深度学习模型在组合泛化方面的局限性，即模型无法泛化到已知组件的未见过组合。
• 开发一种支持递归和序列操作的神经符号架构，以实现语言和结构规则的系统性组合。
• 通过引入操作等价性和课程学习方案，在无需执行轨迹监督的情况下进行模型训练。
• 在多样化的组合推理基准上实现最先进水平的泛化性能，涵盖语言到动作、机器翻译和语法解析任务。

提出的方法

• NeSS 将神经网络控制器与增强序列操作功能的符号堆栈机相结合，包括 SHIFT、REDUCE、PUSH、POP、CONCAT_M、CONCAT_S 和 FINAL。
• 堆栈机支持递归和序列到序列生成，能够实现对语言组件及其组合的模块化处理。
• 引入操作等价性，基于相似的执行轨迹将语义相似的组件（如 'jump' 和 'run'）分组，以提升泛化能力。
• 设计课程学习方案，通过先学习较短、较简单的轨迹，再逐步增加复杂度，以训练模型处理长序列。
• 模型端到端训练，无需真实执行轨迹，而是依赖轨迹预测和操作等价性进行监督。
• 符号堆栈机执行预测的轨迹以生成输出，神经控制器则学习生成正确的操作序列。

实验结果

研究问题

• RQ1 神经符号架构是否能在无执行轨迹监督的情况下，实现组合推理任务的 100% 泛化？
• RQ2 如何形式化语言组件之间的操作等价性，以提升对未见过组合的泛化能力？
• RQ3 课程学习是否能有效训练神经控制器，以生成长而复杂序列的正确执行轨迹？
• RQ4 具有序列操作功能的符号堆栈机在组合 NLP 任务中，其泛化能力在多大程度上超越标准神经序列模型？

主要发现

• NeSS 在 SCAN 基准上实现了 100% 的泛化性能，即使测试集包含训练组件的未见过组合。
• 在少样本组合指令学习任务中，NeSS 无需对新指令类型进行微调即可实现完美泛化。
• 在组合机器翻译任务中，NeSS 以 100% 的准确率泛化到未见过的源-目标短语组合。
• 在上下文无关语法解析任务中，NeSS 的性能与神经解析器模型相当，同时支持更广泛的应用范围。
• 模型在无需真实执行轨迹的情况下实现有效泛化，仅依赖操作等价性和课程学习。
• 与先前的神经符号模型相比，NeSS 不需要预定义的元语法空间或推理时的搜索，提升了效率与可扩展性。