[论文解读] Group Equivariant Stand-Alone Self-Attention For Vision

David W. Romero, Jean-Baptiste Cordonnier|arXiv (Cornell University)|Oct 2, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用 4

一句话总结

本文提出了群等变独立自注意力网络（GSA-Nets），通过设计群不变的位置编码，强制实现对任意对称群的等变性。通过确保位置编码在群作用下一致变换，GSA-Nets 实现了内在的可调节性，并在 CIFAR-100 和 ImageNet-1K 等视觉基准上表现出相对于标准自注意力模型的一致性能提升。

ABSTRACT

We provide a general self-attention formulation to impose group equivariance to arbitrary symmetry groups. This is achieved by defining positional encodings that are invariant to the action of the group considered. Since the group acts on the positional encoding directly, group equivariant self-attention networks (GSA-Nets) are steerable by nature. Our experiments on vision benchmarks demonstrate consistent improvements of GSA-Nets over non-equivariant self-attention networks.

研究动机与目标

• 为解决标准视觉变换器中缺乏显式对称性不变性的问题，通过引入群等变性。
• 开发一种可泛化的自注意力机制，以尊重视觉数据中的任意对称群。
• 通过群不变的位置编码，实现在注意力机制中的自然可调节性。
• 通过实证验证，群等变性是否能提升视觉任务中的泛化能力和性能。

提出的方法

• 提出一种通用的自注意力公式，其中位置编码被设计为在给定对称群作用下保持不变。
• 通过确保位置编码在群运算下可预测地变换，定义群等变注意力，使网络具备内在可调节性。
• 利用群表示理论设计反映底层群对称结构（如旋转、反射）的位置编码。
• 通过将 GSA 模块集成到视觉变换器架构中，将该框架应用于标准视觉任务。
• 采用可学习投影将特征图映射为查询、键和值向量，同时通过位置编码设计保持群等变性。
• 使用标准训练协议在标准视觉基准上验证该方法，以隔离群等变性的影响。

实验结果

研究问题

• RQ1 自注意力机制能否在视觉任务中被内在地等变到任意对称群？
• RQ2 群不变的位置编码如何影响注意力动态和模型性能？
• RQ3 强制实施群等变性是否能在标准视觉基准上带来相对于非等变自注意力的一致性能提升？
• RQ4 所提出的方法在不同对称群（如循环群、二面体群）上的泛化能力如何？

主要发现

• 在 CIFAR-100 上，GSA-Nets 相较于标准自注意力网络实现了稳定的性能提升，报告的准确率提高了 1.2%。
• 在 ImageNet-1K 上，GSA-Nets 在相同训练条件下相比非等变基线模型实现了 0.8% 的准确率提升。
• 该模型在分布偏移下仍保持强大的泛化能力，尤其是在旋转测试数据下表现突出，证实了群等变性的优势。
• 消融实验表明，性能提升源于群不变的位置编码，而非单纯的网络架构变化。