[论文解读] Compositional generalization through meta sequence-to-sequence learning

Brenden M. Lake|arXiv (Cornell University)|Jun 12, 2019

Topic Modeling参考文献 34被引用 44

一句话总结

本文介绍带有记忆增强网络的元序列到序列(meta seq2seq)学习，以实现对 SCAN 类任务的组合泛化，在若干实验中优于标准 seq2seq 并接近人类般的泛化。

ABSTRACT

People can learn a new concept and use it compositionally, understanding how to "blicket twice" after learning how to "blicket." In contrast, powerful sequence-to-sequence (seq2seq) neural networks fail such tests of compositionality, especially when composing new concepts together with existing concepts. In this paper, I show how memory-augmented neural networks can be trained to generalize compositionally through meta seq2seq learning. In this approach, models train on a series of seq2seq problems to acquire the compositional skills needed to solve new seq2seq problems. Meta se2seq learning solves several of the SCAN tests for compositional learning and can learn to apply implicit rules to variables.

研究动机与目标

• 动机并量化标准 seq2seq 模型在组合泛化方面的局限性。
• 提出一个记忆增强的元 seq2seq 学习者，在 episodic 任务上进行训练，以学习如何进行组合性学习。
• 在源自 SCAN 的任务上演示该方法，包括互斥性、增加新原语、组合熟悉概念，以及对较长序列的泛化。

提出的方法

• 使用一个记忆增强的 seq2seq 主干，其中外部键值记忆存储每个情节中的支持项。
• 用双向 LSTM 对查询和支持项进行编码；将最终的支持编码存储为记忆键和值。
• 通过对记忆进行注意力聚焦来计算逐步上下文，为解码器产生逐步上下文。
• 在跨情节的训练中进行训练，每个情节提供一个带有支持项和查询项的新的 seq2seq 问题；每个情节更新一次权重（测试阶段不再更新权重）。
• 在消融实验中，与无记忆的标准 seq2seq 进行比较，并测试移除支持损失或解码器注意力对性能的影响。

实验结果

研究问题

• RQ1 记忆增强的元学习框架是否能够在 seq2seq 任务中实现系统性的组合泛化？
• RQ2 模型在多大程度上能够学会将隐式规则应用于变量并对新组合和更长的序列进行泛化？
• RQ3 额外的训练辅助措施（支持损失、解码器注意力）是否对性能和记忆使用产生实质性影响？
• RQ4 在扩展、增强的原语集合以及需要快速获得新原语的任务中，元 seq2seq 的表现如何？
• RQ5 在推断到更长输出序列时，元 seq2seq 的局限性是什么？

主要发现

• 元 seq2seq 在 SCAN 风格的任务上实现强烈的组合泛化，超越标准 seq2seq 和句法注意力基线。
• 在互斥性任务中，模型通过利用外部记忆基于支持项来映射未见符号，达到 100% 准确率。
• 在原始 SCAN add-jump 任务上，元 seq2seq 约达到 99% 的准确率，而标准 seq2seq 几乎为 0%。
• 在扩充（更大的原语集合）的情况下，元 seq2seq 在使用四个原始原语的测试中获得约 98.7% 的准确率，而标准 seq2seq 约为 12%，句法注意力约为 29%（不同运行之间存在变动）。
• 在元训练下，元 seq2seq 成功推断并组合一个新原语（例如 jump），并具有较高准确率；但当测试要求更长的序列或超出训练长度的外推时，性能下降，表明在真正的系统性泛化方面存在局限。