[论文解读] Attentive Group Equivariant Convolutional Networks

David W. Romero, Erik J. Bekkers+2 more|arXiv (Cornell University)|Feb 7, 2020

Advanced Neural Network Applications参考文献 60被引用 32

一句话总结

本工作通过引入学习对称性关系的注意机制广义化分组卷积，在 ROT-MNIST 和 CIFAR-10 的 SE(2) 与 E(2) 上相较于标准组等变网路表现更好，并具有可解释的等变注意力图。

ABSTRACT

Although group convolutional networks are able to learn powerful representations based on symmetry patterns, they lack explicit means to learn meaningful relationships among them (e.g., relative positions and poses). In this paper, we present attentive group equivariant convolutions, a generalization of the group convolution, in which attention is applied during the course of convolution to accentuate meaningful symmetry combinations and suppress non-plausible, misleading ones. We indicate that prior work on visual attention can be described as special cases of our proposed framework and show empirically that our attentive group equivariant convolutional networks consistently outperform conventional group convolutional networks on benchmark image datasets. Simultaneously, we provide interpretability to the learned concepts through the visualization of equivariant attention maps.

研究动机与目标

• 利用对称性与等变性提升 CNN 的效率与泛化能力的动机。
• 引入注意性分组卷积以学习对称分量之间的关系。
• 在基准数据集上展示相对于传统组等变网络的经验改进。
• 通过学习的等变注意力图的可视化提供可解释性。

提出的方法

• 将 attentive group convolution 定义为 [f ⋆^α_G ψ](g) = sum_c ∫_G α_c(g, g~) f_c(g~) L_g[ψ_c](g~) dg~, 其中 α 由注意力算子 A（Eq. 14）计算。
• 将注意力分解为空间分量 α^X 和通道分量 α^C，以降低计算量并保持等变性（分解 α(g, g~) = α^X((x,h),(x~,h~)) α^C(h,h~)）（Sec. 3.2）。
• 通过定理 1 确保注意力机制的等变性：A[L_ḡ f](g, g~) = A[f](ḡ^{-1}g, ḡ^{-1} g~)（Eq. 15）。
• 使用残差注意力分支促进梯度流动并允许注意力取值在 [0,1]，将直接连接与学习到的注意力结合起来（Sec. 3.3）。
• 将 attentive group convolution 实现为一系列组卷积和逐点非线性变换的序列，具有串联的通道与空间注意力（Fig. 6）。
• 将 attentive group attention 与先前的视觉注意力工作在提出的 G-等变框架中视为特殊情况（Sec. 3.1）。

实验结果

研究问题

• RQ1 如何在不破坏 G-等变性的前提下将注意力机制并入分组卷积？
• RQ2 在 SE(2) 和 E(2) 的基群数据集上，attentive group equivariant networks 是否优于标准的 group equivariant networks？
• RQ3 如何在高维群空间中高效计算与可视化等变注意力图？
• RQ4 在以群论视角观察时，已学习的注意机制与现有视觉注意方法之间有何关系？

主要发现

• 在 SE(2) 和 E(2) 群的 rot-MNIST 和 CIFAR-10 上，注意性分组卷积始终优于简单的组等变网络。
• 该框架通过预测的等变注意力图的可视化提供了可解释性。
• 先前的视觉注意方法被视为 attent ive group convolution 框架的特殊情况。
• 对注意力图的有效因式分解在保持等变性的同时降低了计算负担。