[论文解读] Improving Systematic Generalization Through Modularity and Augmentation

Laura Ruis, Brenden M. Lake|arXiv (Cornell University)|Feb 22, 2022

Natural Language Processing Techniques被引用 4

一句话总结

该论文通过结合模块化架构与结构化数据增强，提升了神经网络在具身语言理解中的系统性泛化能力。结果表明，模块化使模型能够泛化到新颖的副词-动词组合，其在gSCAN基准测试中分别实现了70%和40%的精确匹配提升；而性能的关键取决于数据质量而非数量，尤其是增强数据与目标副词的相似性。

ABSTRACT

Systematic generalization is the ability to combine known parts into novel meaning; an important aspect of efficient human learning, but a weakness of neural network learning. In this work, we investigate how two well-known modeling principles -- modularity and data augmentation -- affect systematic generalization of neural networks in grounded language learning. We analyze how large the vocabulary needs to be to achieve systematic generalization and how similar the augmented data needs to be to the problem at hand. Our findings show that even in the controlled setting of a synthetic benchmark, achieving systematic generalization remains very difficult. After training on an augmented dataset with almost forty times more adverbs than the original problem, a non-modular baseline is not able to systematically generalize to a novel combination of a known verb and adverb. When separating the task into cognitive processes like perception and navigation, a modular neural network is able to utilize the augmented data and generalize more systematically, achieving 70% and 40% exact match increase over state-of-the-art on two gSCAN tests that have not previously been improved. We hope that this work gives insight into the drivers of systematic generalization, and what we still need to improve for neural networks to learn more like humans do.

研究动机与目标

• 解决神经网络在系统性泛化方面的挑战，特别是副词-动词组合性对动作序列的变换。
• 探究模块化与数据增强是否能提升在具身语言任务中对已知语言元素未见组合的泛化能力。
• 确定词汇量与副词相似性在实现新型副词-动词对迁移学习中的作用。
• 评估基于推断的副词行为规则的结构化数据增强对系统性泛化任务性能的影响。
• 提供关于归纳偏差与数据质量因素的见解，使神经网络在组合语言理解中更像人类一样泛化。

提出的方法

• 采用模块化神经网络架构，将语言理解任务分解为感知、导航与推理三个模块化组件。
• 设计一种结构化数据增强技术，通过推断控制副词行为的规则（例如，'谨慎地'需要特定的转向模式）来生成合成训练样本。
• 生成的增强数据集最多达到原始数据量的40倍，重点针对对动作序列产生相似行为效应的副词类型。
• 在不同子集的增强数据上训练非模块化与模块化模型，涵盖不同副词类型与相似性水平。
• 在gSCAN基准测试上评估性能，特别关注对未见副词-动词组合（如'pull while spinning'和'cycle cautiously'）的 few-shot 泛化能力。
• 通过消融实验隔离词汇量、副词相似性与数据分布对泛化性能的影响。

实验结果

研究问题

• RQ1 神经网络架构中的模块化是否能提升在具身语言任务中副词-动词组合性的系统性泛化能力？
• RQ2 基于副词行为规则的结构化数据增强是否优于简单的数据扩展？
• RQ3 增强数据中的副词与目标测试副词之间的相似性如何影响迁移性能？
• RQ4 训练样本的数量是否足以实现强泛化，还是数据质量（行为相似性）更为关键？
• RQ5 当模型在多样但行为不相似的副词上进行训练时，其对新组合的泛化能力在多大程度上受限？

主要发现

• 模块化神经网络架构在涉及新型副词-动词组合的两个gSCAN测试中，相对于最先进方法分别实现了70%和40%的精确匹配提升。
• 在接近40倍更多样本（包括多样化副词）的非模块化模型上进行训练，未能实现对'cycle cautiously'或'pull while spinning'的系统性泛化。
• 当添加一个行为规则相似的副词（例如，具有相同转向模式）时，'cautiously'测试集的性能显著提升，表明其具备最近邻式推理机制。
• 若添加来自不同行为类别的副词（例如，'while spinning'而非'cautiously'），则会降低在'cautiously'测试集上的性能，表明不匹配的数据会损害泛化能力。
• 当目标副词类型（如'cautiously'）的样本数量超过10个后，性能提升趋于平缓，表明仅靠数据量不足以实现泛化。
• 增强数据的质量——特别是与目标副词的行为相似性——比数据量本身更为关键，是实现系统性泛化的决定性因素。