[论文解读] CLOSURE: Assessing Systematic Generalization of CLEVR Models

Dzmitry Bahdanau, Harm de Vries+5 more|arXiv (Cornell University)|Dec 12, 2019

Multimodal Machine Learning Applications参考文献 30被引用 36

一句话总结

本文提出 CLOSURE 基准测试，用以检验 CLEVR 训练的模型是否能系统性地泛化到新的指称表达。它在端到端和神经-符号模型上显示出显著的泛化差距，引入 Vector-NMN 以提高组合性泛化，并探讨少-shot 迁移效应。

ABSTRACT

The CLEVR dataset of natural-looking questions about 3D-rendered scenes has recently received much attention from the research community. A number of models have been proposed for this task, many of which achieved very high accuracies of around 97-99%. In this work, we study how systematic the generalization of such models is, that is to which extent they are capable of handling novel combinations of known linguistic constructs. To this end, we test models' understanding of referring expressions based on matching object properties (such as e.g. "another cube that is the same size as the brown cube") in novel contexts. Our experiments on the thereby constructed CLOSURE benchmark show that state-of-the-art models often do not exhibit systematicity after being trained on CLEVR. Surprisingly, we find that an explicitly compositional Neural Module Network model also generalizes badly on CLOSURE, even when it has access to the ground-truth programs at test time. We improve the NMN's systematic generalization by developing a novel Vector-NMN module architecture with vector-valued inputs and outputs. Lastly, we investigate how much few-shot transfer learning can help models that are pretrained on CLEVR to adapt to CLOSURE. Our few-shot learning experiments contrast the adaptation behavior of the models with intermediate discrete programs with that of the end-to-end continuous models.

研究动机与目标

• 评估 CLEVR 训练的模型在 CLOSURE 中对新颖指称表达是否表现出系统性泛化。
• 量化端到端和基于符号程序的视觉问答模型在新的、类似 CLEVR 的任务上的泛化差距。
• 研究能够提升组合性泛化的模型变体（包括 Vector-NMN）。

提出的方法

• 通过在 CLEVR 风格的问题中替换匹配的指称表达，构建七个 CLOSURE 测试，创造出分布外但在语义上具备组成性的查询。
• 对零-shot 泛化评估各种模型：FiLM、MAC、NS-VQA、NMN 变体，以及所提出的 Vector-NMN。
• 比较真值程序与学习得到的程序生成器，并评估在测试时提供真值程序（GT-*）的影响。
• 提出带向量值输入/输出的 Vector-NMN，以通过基于 FiLM 的调制和共享的 CNN/U 过滤器来改善模块化泛化。
• 通过每个 CLOSURE 家族 36 个样本对预训练模型进行微调（有监督的程序或无监督的程序），以探讨少样本迁移。

实验结果

研究问题

• RQ1 最先进的 CLEVR 模型如何对未在 CLEVR 训练中出现的新颖指称表达组合（CLOSURE）进行泛化？
• RQ2 与端到端模型相比，基于符号程序的方法（NS-VQA、NMN）在 CLOSURE 上表现出更好还是更差的系统性泛化？
• RQ3 基于向量的 NMN 模块是否能在何种条件下改善跨成分的泛化？
• RQ4 少样本迁移对基于程序和端到端模型的系统性泛化有何影响？

主要发现

• 大多数经过 CLEVR 训练的模型在 CLOSURE 测试上相较于基线的 CLEVR 风格问题表现出显著下降，表明系统性泛化较弱。
• MAC 的表现优于 FiLM，但在若干 CLOSURE 测试中仍损失基线精度的 15–35%，暴露出泛化差距。
• NS-VQA 与 NMN 变体在泛化方面表现出显著差距，特别是在逻辑指称表达上，即便在某些情况下使用真值程序。
• Vector-NMN 的泛化能力显著优于 Tensor-NMN，通常在各测试中达到基线水平，除了 and_mat_spa。
• 提供少样本示例（每个 CLOSURE 家族 36 个）显著提升大多数模型的 CLOSURE 表现；基于程序的模型在有监督的情况下通常达到目标精度，而端到端模型则从持续训练中获益。
• 测试时提供真值程序对基于程序的模型有显著帮助，突显了对于组合任务需要准确的程序定位的依赖。