[论文解读] Attention on Abstract Visual Reasoning

Lukas Hahne, Timo Lüddecke+2 more|arXiv (Cornell University)|Nov 14, 2019

Multimodal Machine Learning Applications参考文献 21被引用 8

一句话总结

本文提出注意力关系网络（ARNe），一种混合深度学习模型，结合了Transformer的自注意力机制与野性关系网络（WReN）的关系推理能力，以解决抽象视觉推理任务。ARNe在程序生成矩阵（PGMs）数据集上的准确率比当前最先进模型WReN高出11.28个百分点，且仅使用35%的训练数据即达到峰值性能，展现出卓越的样本效率。

ABSTRACT

Attention mechanisms have been boosting the performance of deep learning models on a wide range of applications, ranging from speech understanding to program induction. However, despite experiments from psychology which suggest that attention plays an essential role in visual reasoning, the full potential of attention mechanisms has so far not been explored to solve abstract cognitive tasks on image data. In this work, we propose a hybrid network architecture, grounded on self-attention and relational reasoning. We call this new model Attention Relation Network (ARNe). ARNe combines features from the recently introduced Transformer and the Wild Relation Network (WReN). We test ARNe on the Procedurally Generated Matrices (PGMs) datasets for abstract visual reasoning. ARNe excels the WReN model on this task by 11.28 ppt. Relational concepts between objects are efficiently learned demanding only 35% of the training samples to surpass reported accuracy of the base line model. Our proposed hybrid model, represents an alternative on learning abstract relations using self-attention and demonstrates that the Transformer network is also well suited for abstract visual reasoning.

研究动机与目标

• 开发一种利用注意力机制的深度学习模型，以实现抽象视觉推理，其灵感源自人类流体智能以及注意力在认知处理中的作用。
• 解决现有模型（如WReN）的局限性，尽管注意力在人类视觉推理中已被证实具有关键作用，但这些模型仍缺乏注意力机制。
• 提升训练中的样本效率，使模型在远少于标准深度学习方法所需标签样本的情况下实现高性能。
• 探究Transformer中的自注意力机制是否可有效适配至非语言、抽象的视觉推理任务。

提出的方法

• ARNe将卷积神经网络（CNN）面板编码器与基于Transformer的自注意力机制以及受WReN启发的关系推理模块相结合。
• 该模型将3×3矩阵的每个面板作为视觉标记序列进行处理，使自注意力机制能够动态衡量跨面板对象之间的关系。
• 引入元目标损失作为辅助信号，以引导模型学习隐含的关系规则，从而提升训练稳定性和性能。
• 模型使用可学习的分隔符标记，在序列构建过程中分离面板表示，增强对不同视觉元素的关注。
• 通过消融实验对正则化超参数（如dropout率、初始学习率及元目标的β加权）进行调优，以优化性能。
• 在PGM数据集上评估该架构，并与WReN及其他基线模型进行比较，包括将自注意力替换为前馈网络的消融实验。

实验结果

研究问题

• RQ1 Transformer中的自注意力机制是否可有效应用于自然语言处理之外的抽象视觉推理任务？
• RQ2 将自注意力与关系推理相结合，是否能在PGM数据集上超越当前最先进模型（如WReN）的性能？
• RQ3 ARNe在训练中提升样本效率的程度如何？是否能仅用显著更少的标注样本实现峰值性能？
• RQ4 诸如分隔符标记、dropout及元目标监督等架构组件如何影响模型性能与泛化能力？
• RQ5 为何MAC架构在与基于WReN的编码器结合时在PGM任务上表现失败？这揭示了何种关于架构与视觉推理任务适配性的信息？

主要发现

• ARNe在PGM数据集上的测试准确率达到87.64%，比当前最先进模型WReN高出11.28个百分点，且仅使用35%的训练数据。
• 该模型仅使用完整PGM数据集35%的样本即达到峰值性能，相较于标准深度学习模型展现出极强的样本效率。
• 消融实验表明，dropout与分隔符标记在小样本数据集上能提升性能，表明其具有正则化优势。
• 当移除元目标监督（β = 0）时，模型无法收敛，表明辅助信号对学习关系模式至关重要。
• 将输入图像分辨率从160×160降低至80×80像素，准确率下降15个百分点，表明精细的视觉结构对模型推理至关重要。
• 当与基于WReN的编码器结合时，MAC架构在PGM任务上表现不佳，表明其与任务的关系结构存在架构不兼容性。