[论文解读] A Study of Compositional Generalization in Neural Models

Tim Klinger, Dhaval Adjodah+5 more|arXiv (Cornell University)|Jun 16, 2020

Neural Networks and Applications参考文献 28被引用 5

一句话总结

本文提出了ConceptWorld，一种用于创建组合性与关系性视觉概念的逻辑领域特定语言及图像生成环境，支持对神经网络模型在组合泛化能力上的系统性评估。尽管采用了ResNet、WReN和PrediNet等最先进架构，所有模型在组合深度和可替代性条件下的零样本泛化中均表现出显著失败，凸显了神经网络在处理结构化、分层概念时推理能力的关键缺陷。

ABSTRACT

Compositional and relational learning is a hallmark of human intelligence, but one which presents challenges for neural models. One difficulty in the development of such models is the lack of benchmarks with clear compositional and relational task structure on which to systematically evaluate them. In this paper, we introduce an environment called ConceptWorld, which enables the generation of images from compositional and relational concepts, defined using a logical domain specific language. We use it to generate images for a variety of compositional structures: 2x2 squares, pentominoes, sequences, scenes involving these objects, and other more complex concepts. We perform experiments to test the ability of standard neural architectures to generalize on relations with compositional arguments as the compositional depth of those arguments increases and under substitution. We compare standard neural networks such as MLP, CNN and ResNet, as well as state-of-the-art relational networks including WReN and PrediNet in a multi-class image classification setting. For simple problems, all models generalize well to close concepts but struggle with longer compositional chains. For more complex tests involving substitutivity, all models struggle, even with short chains. In highlighting these difficulties and providing an environment for further experimentation, we hope to encourage the development of models which are able to generalize effectively in compositional, relational domains.

研究动机与目标

• 为评估神经网络模型在组合性与关系性泛化方面的缺失基准问题提供解决方案。
• 开发一种形式化、逻辑化且可复用的框架，用于定义与生成组合性视觉概念。
• 系统性地测试标准神经网络与关系神经网络在组合深度递增及对象替换场景下的零样本泛化能力。
• 识别并展示尽管关系神经架构取得进展，模型在泛化方面仍存在持续性失败。
• 为未来深度学习中组合推理的研究提供可复现的测试平台。

提出的方法

• ConceptWorld使用声明式、分层的逻辑领域特定语言（DSL）定义视觉概念，如2x2方块、五格骨牌和序列，具有清晰的组合结构。
• 系统从这些逻辑概念定义生成像素级图像，实现评估用的受控数据合成。
• 设计了四项不同任务：生产力（增加组合深度）与可替代性（在相同深度替换基础对象），涵盖多个领域。
• 在图像分类任务上训练标准模型（MLP、CNN、ResNet）与关系模型（WReN、PrediNet），并使用零样本测试集进行评估。
• 评估采用未见组合概念的F1分数，包括纯序列与混合序列，且控制替换模式。
• 应用课程训练以评估是否通过先学习基础概念再学习复合概念，可提升对高阶组合的泛化能力。

实验结果

研究问题

• RQ1 标准神经网络能否泛化到训练时未见的、组合深度更大的概念？
• RQ2 当组合结构中的基础对象被新颖但结构相似的对象替代时，神经模型能否实现泛化？
• RQ3 最先进关系神经网络（如WReN、PrediNet）是否在组合泛化任务中优于标准架构？
• RQ4 课程训练（先学习基础概念，再学习复合概念）是否能提升泛化性能？
• RQ5 在零样本组合泛化任务中，模型在短组合链下失败的程度有多大？

主要发现

• 所有评估模型，包括最先进的关系网络如WReN和PrediNet，在可替代性任务中均未能有效泛化，即使在短组合链下也表现失败。
• 在2x2至4x4图案方块任务（实验3）中，表现最佳的模型（SimpleFeedForward）在竖条纹上的F1分数仅为0.5157，在棋盘图案上为0.5074，表明泛化能力极差。
• 在序列可替代性任务（实验4）中，ResNet在类型1概念（一次替换）上F1得分为0.603，但在双替换序列上骤降至0.0005，显示出近乎完全的失败。
• 即使采用课程训练，ResNet与WReN在高阶序列上的表现仍下降，混合序列F1分数分别降至0.244与0.1642。
• PrediNet与WReN相较于标准CNN仅表现出有限改进，多数可替代性任务的F1分数低于0.35，表明其关系归纳偏置在组合性任务中表现微弱。
• SimpleFeedForward模型在简单概念（如蓝色与红色）上接近完美表现（F1 ≈ 1.0），但在复杂图案上失败，凸显了超越原子特征的组合泛化挑战。