[论文解读] Co-Attentive Equivariant Neural Networks: Focusing Equivariance On Transformations Co-Occurring In Data

David W. Romero, Mark Hoogendoorn|arXiv (Cornell University)|Nov 18, 2019

Advanced Image and Video Retrieval Techniques参考文献 36被引用 17

一句话总结

本文提出共注意力等变神经网络，通过动态关注数据中共同出现的变换（如特定旋转），而非强制对所有群元素保持等变性。通过将循环自注意力机制整合到群卷积特征映射中，该模型在旋转后的MNIST和CIFAR-10数据集上提升了性能，同时保持了等变性，优于标准的旋转等变和旋转+反射等变网络。

ABSTRACT

Equivariance is a nice property to have as it produces much more parameter efficient neural architectures and preserves the structure of the input through the feature mapping. Even though some combinations of transformations might never appear (e.g. an upright face with a horizontal nose), current equivariant architectures consider the set of all possible transformations in a transformation group when learning feature representations. Contrarily, the human visual system is able to attend to the set of relevant transformations occurring in the environment and utilizes this information to assist and improve object recognition. Based on this observation, we modify conventional equivariant feature mappings such that they are able to attend to the set of co-occurring transformations in data and generalize this notion to act on groups consisting of multiple symmetries. We show that our proposed co-attentive equivariant neural networks consistently outperform conventional rotation equivariant and rotation & reflection equivariant neural networks on rotated MNIST and CIFAR-10.

研究动机与目标

• 为解决传统等变网络强制对所有群元素保持等变性所带来的效率低下问题，即使这些变换在数据中极少共同出现。
• 通过仅关注现实世界数据中实际共同出现的变换集合，模拟人类视觉感知，提升识别准确率和参数效率。
• 设计一种注意力机制，在选择性聚焦于数据中变换共现范围的同时保持等变性。
• 通过注意力机制实现数据驱动的变换选择，将等变深度学习从均匀群作用扩展至更广泛的应用场景。

提出的方法

• 提出一种共注意力等变特征映射，对群卷积上陪域中的空间位置应用循环自注意力。
• 引入循环等变自注意力机制，通过将注意力限制在群作用诱导的循环排列上，保持等变性。
• 修改标准群卷积网络，使注意力头仅能关注训练数据中实际共现的变换，形成共现包络。
• 采用可学习的注意力机制，根据局部上下文中变换共现的可能性动态加权特征图。
• 采用群作用框架，其中变换通过循环排列作用于特征图，使注意力机制保持等变性。
• 在所有网络类型中使用相同的超参数（如初始学习率0.01，输入截断至第99百分位数），以确保公平比较。

实验结果

研究问题

• RQ1 能否设计出注意力机制，使其仅聚焦于数据中共同出现的变换，而不会破坏等变性？
• RQ2 仅关注变换的共现包络是否能带来比强制实现完整群等变性更好的泛化性能？
• RQ3 与标准旋转等变和旋转+反射等变网络相比，共注意力等变方法在基准数据集上的表现如何？
• RQ4 所提出方法是否能在完全旋转和部分旋转设置下稳定训练，同时保持高性能？

主要发现

• 共注意力等变网络（DREN）在旋转后的MNIST和CIFAR-10数据集上优于传统旋转等变和旋转+反射等变网络。
• 该模型在完全旋转设置（旋转MNIST）和部分旋转设置（CIFAR-10）下均实现了稳定的性能提升。
• 尽管对训练发散更具敏感性，但通过适当的超参数调优（包括学习率降低和输入截断）可实现稳定训练。
• 循环自注意力机制成功保持了等变性，同时实现了对相关变换的数据驱动关注，提升了特征表示能力。
• 结果支持共现包络假设：聚焦于频繁共现的变换可增强识别性能，且不会因过度拟合于罕见或无关变换而产生过拟合。