[论文解读] Coordinate Independent Convolutional Networks -- Isometry and Gauge Equivariant Convolutions on Riemannian Manifolds

Maurice Weiler, Patrick Forré+2 more|arXiv (Cornell University)|Jun 10, 2021

Optical measurement and interference techniques被引用 17

一句话总结

本文通过将卷积定义为在局部规范变换下保持等变，提出了一种在黎曼流形上实现坐标无关卷积神经网络的方法，确保推理结果对任意局部参考系的选择保持不变。核心贡献在于提出了一种基于纤维丛和G-结构的微分几何框架，将欧氏空间、球面和曲面CNN统一于一个坐标无关的等距与规范等变卷积理论之中。

ABSTRACT

Motivated by the vast success of deep convolutional networks, there is a great interest in generalizing convolutions to non-Euclidean manifolds. A major complication in comparison to flat spaces is that it is unclear in which alignment a convolution kernel should be applied on a manifold. The underlying reason for this ambiguity is that general manifolds do not come with a canonical choice of reference frames (gauge). Kernels and features therefore have to be expressed relative to arbitrary coordinates. We argue that the particular choice of coordinatization should not affect a network's inference -- it should be coordinate independent. A simultaneous demand for coordinate independence and weight sharing is shown to result in a requirement on the network to be equivariant under local gauge transformations (changes of local reference frames). The ambiguity of reference frames depends thereby on the G-structure of the manifold, such that the necessary level of gauge equivariance is prescribed by the corresponding structure group G. Coordinate independent convolutions are proven to be equivariant w.r.t. those isometries that are symmetries of the G-structure. The resulting theory is formulated in a coordinate free fashion in terms of fiber bundles. To exemplify the design of coordinate independent convolutions, we implement a convolutional network on the M\\"obius strip. The generality of our differential geometric formulation of convolutional networks is demonstrated by an extensive literature review which explains a large number of Euclidean CNNs, spherical CNNs and CNNs on general surfaces as specific instances of coordinate independent convolutions.

研究动机与目标

• 本文旨在将卷积神经网络从欧氏空间推广至任意黎曼流形。
• 解决由于一般流形上缺乏标准参考系而导致的卷积核对齐模糊性这一基本问题。
• 目标是确保网络推理对任意局部坐标系或参考系（规范选择）的选择保持不变。
• 作者将坐标无关性形式化为流形G-结构的结构群G下的规范等变性。
• 通过纤维丛建立理论基础，并证明坐标无关卷积在保持G-结构的等距变换下具有等变性。

提出的方法

• 该框架将卷积核和特征场建模为流形M上G-结构的关联向量丛的截面。
• 通过一种在局部坐标系变换下可预测变换的规范协变卷积运算来定义核响应。
• 采用结构群G的正则表示，构建G-结构上光滑函数空间与关联丛截面空间之间的同构空间。
• 证明了G-结构上的光滑函数与关联丛截面之间通过G的正则表示存在同构关系，从而实现坐标无关的实现。
• 该方法推广了现有CNN：欧氏CNN对应G = {e}，球面CNN对应G = SO(2)，曲面CNN则对应适当的G-结构。
• 通过在莫比乌斯带上的卷积网络实现验证了理论，实际展示了规范等变性与坐标无关性。

实验结果

研究问题

• RQ1 如何使卷积网络对黎曼流形上任意局部坐标系的选择保持不变？
• RQ2 何种数学结构可确保核响应在不同局部参考系（规范）下保持一致？
• RQ3 流形上G-结构的选择如何决定卷积核所需的规范等变性水平？
• RQ4 现有的欧氏、球面和曲面CNN能否统一于一个坐标无关卷积的几何框架之下？
• RQ5 在深度学习背景下，G-结构丛上的光滑函数与关联向量丛截面之间的确切关系是什么？

主要发现

• 本文证明了坐标无关卷积在保持G-结构的等距变换下具有等变性。
• 通过G的正则表示，建立了G-结构丛上的光滑函数与关联向量丛截面之间的典范同构关系。
• 该框架将欧氏CNN（G = {e}）、球面CNN（G = SO(2)）和基于曲面的CNN统一为坐标无关卷积的特例。
• 在莫比乌斯带上实现的网络验证了，即使在非可定向几何与非平凡规范结构下，网络仍能保持一致的推理性能。
• 理论表明，权重重用与坐标无关性共同要求在结构群G下的规范等变性。
• 作者证明了平行框架CNN是该框架的一个特例，具体表现为正则特征场之间的GM-卷积。