[论文解读] GAMR: A Guided Attention Model for (visual) Reasoning

Mohit Vaishnav, T. Serre|arXiv (Cornell University)|Jun 10, 2022

Visual Attention and Saliency Detection被引用 4

一句话总结

GAMR 提出了一种引导注意力机制，通过 LSTM 控制器动态地在视觉场景中转移注意力，将与任务相关的信息路由到记忆库中，从而实现对视觉推理任务的鲁棒且样本高效的训练。该方法在 SVRT 和 ART 基准测试中达到最先进性能，并通过重新组合已学习的操作展现出强大的零样本泛化能力。

ABSTRACT

Humans continue to outperform modern AI systems in their ability to flexibly parse and understand complex visual scenes. Here, we present a novel module for visual reasoning, the Guided Attention Model for (visual) Reasoning (GAMR), which instantiates an active vision theory -- positing that the brain solves complex visual reasoning problems dynamically -- via sequences of attention shifts to select and route task-relevant visual information into memory. Experiments on an array of visual reasoning tasks and datasets demonstrate GAMR's ability to learn visual routines in a robust and sample-efficient manner. In addition, GAMR is shown to be capable of zero-shot generalization on completely novel reasoning tasks. Overall, our work provides computational support for cognitive theories that postulate the need for a critical interplay between attention and memory to dynamically maintain and manipulate task-relevant visual information to solve complex visual reasoning tasks.

研究动机与目标

• 开发一种神经架构，通过在任务相关的视觉元素上动态转移注意力，模拟主动视觉机制。
• 通过将任务依赖的注意力与记忆路由相结合，提升视觉推理中的样本效率。
• 通过重用先前学习的基本操作，在无需微调的情况下泛化到新型推理任务，实现零样本泛化。
• 为强调注意力与记忆在视觉推理中相互作用的认知理论提供计算支持。
• 在标准视觉推理基准（如 SVRT 和 ART）上超越现有最先进模型。

提出的方法

• 该模型使用视觉编码器（五个带有实例归一化的卷积块）提取图像表征。
• 基于 LSTM 的控制器在每个时间步生成内部查询，根据当前注视状态引导注意力转移。
• 引导注意力模块根据控制器生成的查询，选择并门控相关视觉特征进入记忆库。
• 关系推理模块处理存储的记忆表征，以推断关系并解决推理任务。
• 整个架构通过可微分的注意力路由机制实现端到端可训练。
• 使用可解释性方法分析注意力模式，并验证组合式推理策略。

实验结果

研究问题

• RQ1 神经网络能否学习执行动态的、与任务相关的注意力转移，从而提升视觉推理性能？
• RQ2 将内部控制器与记忆路由结合，是否能增强视觉推理任务中的样本效率？
• RQ3 该模型能否在不进行微调的情况下泛化到新型推理任务，展示零样本泛化能力？
• RQ4 该模型的注意力行为在复杂关系任务中与人类视觉习惯相比如何？
• RQ5 与基线模型相比，该架构在分布偏移和噪声条件下的鲁棒性如何？

主要发现

• GAMR 在 Synthetic Visual Reasoning Test (SVRT) 和 Abstract Reasoning Task (ART) 基准测试中均达到最先进性能。
• 该模型展现出强大的零样本泛化能力，可在不重新训练的情况下，将知识迁移至共享抽象规则的新任务。
• GAMR 在噪声和分布偏移（如抖动的形状）条件下保持高准确率，而基线模型如 ESBN 显著下降。
• 通过可解释性分析验证，该模型能够以任务依赖的方式关注相关视觉元素。
• GAMR 仅用极少数据即可实现高性能，即使在仅 500 个训练样本的情况下，也能以数据高效的方式学习复杂关系规则。
• 与对象中心模型（如 ESBN）不同，GAMR 即使在形状被分割到独立帧的情况下，仍能成功学习空间关系规则。