[论文解读] Gauge Equivariant Mesh CNNs: Anisotropic convolutions on geometric graphs

Pim de Haan, Maurice Weiler+2 more|arXiv (Cornell University)|Mar 11, 2020

3D Shape Modeling and Analysis参考文献 50被引用 45

一句话总结

Gauge Equivariant Mesh CNNs 引入在网格图上的各向异性、gauge-equivariant 核，能够实现平行传输的、方向感知的特征传播，并且超越了各向同性的 GCNs。

ABSTRACT

A common approach to define convolutions on meshes is to interpret them as a graph and apply graph convolutional networks (GCNs). Such GCNs utilize isotropic kernels and are therefore insensitive to the relative orientation of vertices and thus to the geometry of the mesh as a whole. We propose Gauge Equivariant Mesh CNNs which generalize GCNs to apply anisotropic gauge equivariant kernels. Since the resulting features carry orientation information, we introduce a geometric message passing scheme defined by parallel transporting features over mesh edges. Our experiments validate the significantly improved expressivity of the proposed model over conventional GCNs and other methods.

研究动机与目标

• 动机：需要在网格上进行卷积，以考虑局部几何与方向。
• 提出对图卷积的最小修改，以实现各向异性、gauge-equivariant 的核。
• 确保 gauge 等变性，使结果与任意参考方向无关。
• 开发一个使用切向空间表示和平行传输来聚合邻域信息的实用框架。

提出的方法

• 构造在 gauge 变换下等变的各向异性核 K_neigh(θ) 和 K_self。
• 通过不可约的 SO(2) 表示 (ρ0, ρn) 来表示特征，并通过基核将它们组合以覆盖输入/输出类型。
• 在切向平面中计算邻居的角度 θ_pq，并通过 ρ(g_q→p) 将邻居特征 f_q 做平行传输后再进行卷积。
• 约束核以使 K_neigh(θ−g) = ρ_out(−g) K_neigh(θ) ρ_in(g) 且 K_self = ρ_out(−g) K_self ρ_in(g)。
• 将前向 GEM-CNN 传递定义为 f′_p = sum_i w_self^i K_self^i f_p + sum_{q∈N_p} sum_i w_neigh^i K_neigh^i(θ_pq) ρ(g_q→p) f_q。
• 引入 RegularNonlinearity 以在非线性层中通过近似傅里叶处理维持守恒等变性。

实验结果

研究问题

• RQ1 网格卷积如何扩展以在不牺牲 gauge 不变量的情况下捕获方向信息？
• RQ2 给定不可约表示之间的 gauge-equivariant、各向异性核的完整核空间是什么？
• RQ3 相较于各向同性 GCN，gauge-equivariant 的各向异性处理是否能提升网格任务的表达能力和性能？
• RQ4 在具有不同嵌入几何的网格上，该框架能否在保持本征网格几何的前提下泛化？

主要发现

• GEM-CNNs 通过使用各向异性、gauge-equivariant 的核，在表达能力上显著高于传统 GCN。
• 在嵌入的 MNIST 上，GEM-CNNs 在平坦几何上达到 0.60 ± 0.05% 的测试误差，优于各向同性基线并达到平面 CNN 的表现。
• 该方法可泛化到等嵌入和网格几何，验证了独立于嵌入的本征网格处理。
• 该方法在顶点数上具有线性时间和线性空间复杂度，梯度通过自动微分支持。
• 在形状对应性实验中，模型优于先前方法，验证了几何任务中表达能力的提升。