[论文解读] B-Spline CNNs on Lie Groups

Erik J. Bekkers|arXiv (Cornell University)|Sep 26, 2019

AI in cancer detection参考文献 58被引用 15

一句话总结

本文提出了一种在任意李群上进行组卷积神经网络（G-CNNs）的新框架，利用李代数上的B样条展开，实现了局部化、空洞化和可变形卷积。该方法通过利用李群的微分结构，将G-CNNs推广至离散或紧致群之外的范围，在组织病理学和面部关键点检测任务中实现了对旋转和尺度变换的等变性，性能显著提升。

ABSTRACT

Group convolutional neural networks (G-CNNs) can be used to improve classical CNNs by equipping them with the geometric structure of groups. Central in the success of G-CNNs is the lifting of feature maps to higher dimensional disentangled representations, in which data characteristics are effectively learned, geometric data-augmentations are made obsolete, and predictable behavior under geometric transformations (equivariance) is guaranteed via group theory. Currently, however, the practical implementations of G-CNNs are limited to either discrete groups (that leave the grid intact) or continuous compact groups such as rotations (that enable the use of Fourier theory). In this paper we lift these limitations and propose a modular framework for the design and implementation of G-CNNs for arbitrary Lie groups. In our approach the differential structure of Lie groups is used to expand convolution kernels in a generic basis of B-splines that is defined on the Lie algebra. This leads to a flexible framework that enables localized, atrous, and deformable convolutions in G-CNNs by means of respectively localized, sparse and non-uniform B-spline expansions. The impact and potential of our approach is studied on two benchmark datasets: cancer detection in histopathology slides in which rotation equivariance plays a key role and facial landmark localization in which scale equivariance is important. In both cases, G-CNN architectures outperform their classical 2D counterparts and the added value of atrous and localized group convolutions is studied in detail.

研究动机与目标

• 解决现有G-CNNs的局限性，即仅限于离散或紧致群（如旋转群）的问题，实现对任意李群的G-CNNs应用。
• 克服G-CNNs中对基于傅里叶方法的依赖，提出基于B样条的核展开方法，保留局部支持与灵活性。
• 通过在李代数上使用稀疏、非均匀且局部化的B样条基，实现新型组卷积——局部化、空洞化与可变形卷积。
• 在涉及旋转与尺度等变性的实际基准测试中，验证该框架在医学影像与面部图像分析中的实用性。
• 通过利用对数映射与B样条基，基于群的微分结构，提供一种模块化、通用的G-CNNs设计框架，适用于任意李群。

提出的方法

• 通过使用对数映射将B样条从李代数提升至李群，实现在曲面群流形上的分段多项式逼近，从而在李群上定义B样条。
• 利用李群的微分结构，在李代数上构建通用的B样条基，再通过指数映射将其转化为组卷积核。
• 通过紧支撑的B样条展开实现局部卷积，使群域中的感受野具有空间约束。
• 通过使用稀疏B样条网格实现空洞卷积，在不增加参数量的前提下引入扩张感受野。
• 通过非均匀B样条节点布局支持可变形卷积，实现基于学习变换的自适应核采样。
• 通过组合提升层、使用B样条核的组卷积以及对群进行平均的投影层（如尺度或旋转），构建G-CNN架构，随后接标准2D卷积。

实验结果

研究问题

• RQ1 在李代数上使用B样条展开，是否能为超出傅里叶分析适用范围的任意李群，提供有效且灵活的组卷积核？
• RQ2 与标准G-CNNs相比，局部化、空洞化与可变形组卷积在几何深度学习任务中的性能提升程度如何？
• RQ3 在需要旋转或尺度等变性的实际应用中，如组织病理学图像分析与面部关键点检测，所提出的基于B样条的G-CNN框架表现如何？
• RQ4 使用非均匀B样条基是否能更好地建模特征学习中的复杂非均匀几何变换？
• RQ5 该框架是否能在不牺牲等变性理论保证的前提下，实现高效计算并可扩展至实际深度学习流水线？

主要发现

• 所提出的基于B样条的G-CNN框架成功将G-CNNs扩展至任意李群，突破了以往仅限于离散或紧致群的限制。
• 在组织病理学癌症检测任务中，具有旋转等变性的G-CNN相比标准2D CNN表现更优，对旋转变化的鲁棒性显著增强。
• 在CelebA数据集上的面部关键点定位任务中，具有尺度等变性的G-CNN优于2D基线模型，尤其当使用更大的B样条基（如$N_k=5$）时，尺度表征能力更优。
• 消融实验表明，空洞卷积与局部卷积通过扩大感受野并提高参数效率，提升了性能，且未损失不变性。
• 可训练参数总数随B样条基大小变化，组织病理学任务中$N_k=12$时为101,673个参数，CelebA任务中$N_k=5$时为123,589个参数，表明该框架在不同架构间具备良好的可扩展性。
• 该框架表明，非均匀B样条采样可实现可变形组卷积，为几何深度学习中建模空间变化的变换提供了新的归纳偏置。