[论文解读] General $E(2)$-Equivariant Steerable CNNs

Maurice Weiler, Gabriele Cesa|arXiv (Cornell University)|Nov 19, 2019

Geophysical Methods and Applications被引用 105

一句话总结

本论文为平面上的 E(2)-等变可定向卷积提供了一个通用框架，将核约束简化为不可约表示，并通过实证收益展示了广泛的架构适用性。

ABSTRACT

The big empirical success of group equivariant networks has led in recent years to the sprouting of a great variety of equivariant network architectures. A particular focus has thereby been on rotation and reflection equivariant CNNs for planar images. Here we give a general description of $E(2)$-equivariant convolutions in the framework of Steerable CNNs. The theory of Steerable CNNs thereby yields constraints on the convolution kernels which depend on group representations describing the transformation laws of feature spaces. We show that these constraints for arbitrary group representations can be reduced to constraints under irreducible representations. A general solution of the kernel space constraint is given for arbitrary representations of the Euclidean group $E(2)$ and its subgroups. We implement a wide range of previously proposed and entirely new equivariant network architectures and extensively compare their performances. $E(2)$-steerable convolutions are further shown to yield remarkable gains on CIFAR-10, CIFAR-100 and STL-10 when used as a drop-in replacement for non-equivariant convolutions.

研究动机与目标

• 在平面图像网络中使用对称性先验以提高泛化能力和样本效率。
• 通过将不可约表示作为基础，提供一种通用策略来解决 E(2) 及其子群的核约束。
• 实现一个统一框架，涵盖并扩展先前的 GCNN、Steerable CNN、Harmonic 等架构。
• 展示群表示与非线性如何相互作用，从而约束并使各种等变层成为可能。
• 通过将 E(2)-steerable 卷积作为标准卷积的即插即用替代，在多数据集上展示实际收益。

提出的方法

• 用由群表示及诱导表示定义的变换规律来表述可定向特征场。
• 推导核约束 k(gx) = ρ_out(g) k(x) ρ_in(g^{-1})，并显示可以通过不可约表示分解求解（Eq. 3） 。
• 将输入/输出表示分解为不可约分量，以获得用于核约束的独立不可约块（Eq. 3）。
• 使用傅里叶基底对核进行角度展开，以利用 O(2) 及子群不可约分量，得到显式基元（Table 2 and Appendix F）。
• 构建基于基的 G-可定向核，并学习线性组合以参数化等变卷积（Eq. 4）。
• 在单位约束下讨论与评估各种表示（正规表示、商表示、诱导表示）及兼容的非线性函数。

实验结果

研究问题

• RQ1 如何在任意表示下高效求解 E(2)-等变卷积的核空间约束？
• RQ2 O(2)及其子群的可定向核的显式角度基是什么，且不可约表示如何决定可允许的角度分量？
• RQ3 不同表示与非线性函数如何相互作用以影响网络性能与参数效率？
• RQ4 群限制（渐进降低等变性）能否通过与数据对称性一致而提升真实图像上的性能？
• RQ5 在标准基准（CIFAR-10/100、STL-10、MNIST 变种）上，E(2)-steerable 卷积是否作为即插即用替代品提供稳定的性能提升？

主要发现

• 通过降解为不可约表示，可以实现对核约束的一般解，从而为许多先前架构提供统一框架。
• 为对应于 O(2)及其子群的 G-可定向核推导出显式角基，基与不同角频率相关。
• 该框架支持混合架构，结合不同场类型，并允许群限制操作随深度改变等变性。
• 经验基准比较了群、表示和非线性函数，显示在 CIFAR-10、CIFAR-100 和 STL-10 上用 E(2)-可定向卷积替代常规卷积可以得到显著的性能提升。
• 该方法可推广到其他同质空间与流形，支持球面 CNNs 和规范等变 CNNs 等扩展。
• 该设计兼容正规表示和商表示，并展示为了保持等变性必须如何选择非线性函数。