[论文解读] Intertwiners between Induced Representations (with Applications to the Theory of Equivariant Neural Networks)

Taco Cohen, Mario Geiger+1 more|arXiv (Cornell University)|Mar 28, 2018

Neural Networks and Applications参考文献 15被引用 34

一句话总结

本文通过表征诱导表示之间的互变映射（即等变线性映射）建立了一个广义的群等变神经网络数学框架，证明此类层等价于扭曲卷积。关键贡献在于提出了一套系统化方法，用于在不同群和齐次空间上计算等变滤波器核的基，从而实现可保证等变性的通用可微 G-CNN 构建。

ABSTRACT

Group equivariant and steerable convolutional neural networks (regular and steerable G-CNNs) have recently emerged as a very effective model class for learning from signal data such as 2D and 3D images, video, and other data where symmetries are present. In geometrical terms, regular G-CNNs represent data in terms of scalar fields ("feature channels"), whereas the steerable G-CNN can also use vector or tensor fields ("capsules") to represent data. In algebraic terms, the feature spaces in regular G-CNNs transform according to a regular representation of the group G, whereas the feature spaces in Steerable G-CNNs transform according to the more general induced representations of G. In order to make the network equivariant, each layer in a G-CNN is required to intertwine between the induced representations associated with its input and output space. In this paper we present a general mathematical framework for G-CNNs on homogeneous spaces like Euclidean space or the sphere. We show, using elementary methods, that the layers of an equivariant network are convolutional if and only if the input and output feature spaces transform according to an induced representation. This result, which follows from G.W. Mackey's abstract theory on induced representations, establishes G-CNNs as a universal class of equivariant network architectures, and generalizes the important recent work of Kondor & Trivedi on the intertwiners between regular representations.

研究动机与目标

• 基于诱导表示，发展一个广义的群等变神经网络数学框架。
• 以一种可推广先前正则表示工作的形式，表征诱导表示之间等变线性映射（互变映射）的空间。
• 为任意群和齐次空间提供系统化方法，以计算等变滤波器核空间的一组基。
• 建立等变 G-CNN 层与扭曲卷积等价的条件，当输入和输出特征空间在诱导表示下变换时。
• 将 Kondor 与 Trivedi（2018）关于正则表示的工作推广至更广泛的诱导表示类，从而支持可微且基于向量/张量场的网络。

提出的方法

• 使用 G. W. Mackey 的诱导表示抽象理论，形式化可微 G-CNN 中特征空间变换规律。
• 推导等变核的一般形式，作为群作用相容性导出的线性约束的解：$\overleftarrow{\kappa}(hx) = \rho_2(h)\overleftarrow{\kappa}(x)\rho_1(\mathrm{h}(x,h)^{-1})$。
• 通过双陪集空间 $H\backslash G/H$ 引入核的陪集基参数化，实现互变映射的高效计算。
• 建立同构映射 $\Omega_{\mathcal{K}}$，将双陪集上的核（$\mathcal{K}_D$）映射到齐次空间上的核（$\mathcal{K}_C$），简化核设计。
• 将该框架应用于具体情形：$\operatorname{SE}(2)$ 和 $\operatorname{SE}(3)$，表明等变核退化为受约束的二维和三维卷积。
• 以扭曲互相关公式 $[\overleftarrow{\kappa} \star f](x) = \int \overleftarrow{\kappa}(s(x)^{-1}y)\rho_1(\mathrm{h}(y,s(x)^{-1}))f(y)\,dy$ 作为核心层运算。

实验结果

研究问题

• RQ1 如何以一种通用且计算上可行的方式表征诱导表示之间等变线性映射（互变映射）的空间？
• RQ2 当输入和输出特征空间在诱导表示下变换时，卷积层在何种条件下具有等变性？
• RQ3 如何为任意群和齐次空间系统化计算等变滤波器核空间的一组基？
• RQ4 双陪集空间上的核约束与齐次空间上最终核之间的关系是什么？
• RQ5 该框架能否将先前关于正则表示的结果（如 Kondor 与 Trivedi）推广至更广泛的诱导表示类？

主要发现

• 当且仅当输入和输出特征空间在诱导表示下变换时，G-CNN 中的等变层等价于扭曲卷积。
• 等变核空间微分同构于满足特定群协变约束的双陪集空间 $H\backslash G/H$ 上的函数空间。
• 对于 $\operatorname{SE}(2)$，核约束 $\overleftarrow{\kappa}(\gamma + \alpha, \beta) = \rho_2(Z(\gamma))\overleftarrow{\kappa}(\alpha, \beta)$ 允许通过单个滤波器 $\bar{\kappa}(\beta)$ 参数化，使核简化为 $\overleftarrow{\kappa}(\alpha, \beta) = \rho_2(Z(\alpha))\bar{\kappa}(\beta)$。
• 对于 $\operatorname{SE}(3)$，等变核退化为 3D 卷积，其核受约束 $\bar{\kappa}(x) = \rho_2(h)\bar{\kappa}(x)\rho_1(h)^{-1}$（$h \in \operatorname{SO}(2)^z$），支持高效实现。
• 该框架为任意群 $G$ 和齐次空间 $G/H$ 提供了通用且系统化的可微 G-CNN 构建路径，且保证等变性。
• 该方法通过证明当诱导表示源于 $H$ 的平凡表示时，Kondor 与 Trivedi 的结果是其特例，从而推广了其关于正则表示的工作。