[论文解读] Relaxing Equivariance Constraints with Non-stationary Continuous Filters

Tycho F. A. van der Ouderaa, David W. Romero+1 more|arXiv (Cornell University)|Apr 14, 2022

Machine Learning in Materials Science被引用 6

一句话总结

该论文提出了一种参数高效的、可微的群等变性松弛方法，通过依赖于绝对群元素的非平稳连续滤波器，实现了非等变、严格等变和严格不变映射之间的平滑插值。该方法允许通过梯度学习等变性的程度，在CIFAR-10和CIFAR-100上实现了最先进性能，优于严格等变和部分等变基线模型。

ABSTRACT

Equivariances provide useful inductive biases in neural network modeling, with the translation equivariance of convolutional neural networks being a canonical example. Equivariances can be embedded in architectures through weight-sharing and place symmetry constraints on the functions a neural network can represent. The type of symmetry is typically fixed and has to be chosen in advance. Although some tasks are inherently equivariant, many tasks do not strictly follow such symmetries. In such cases, equivariance constraints can be overly restrictive. In this work, we propose a parameter-efficient relaxation of equivariance that can effectively interpolate between a (i) non-equivariant linear product, (ii) a strict-equivariant convolution, and (iii) a strictly-invariant mapping. The proposed parameterisation can be thought of as a building block to allow adjustable symmetry structure in neural networks. In addition, we demonstrate that the amount of equivariance can be learned from the training data using backpropagation. Gradient-based learning of equivariance achieves similar or improved performance compared to the best value found by cross-validation and outperforms baselines with partial or strict equivariance on CIFAR-10 and CIFAR-100 image classification tasks.

研究动机与目标

• 解决神经网络中固定、硬性对称性约束的局限性，当数据不严格服从假设对称性时，此类约束可能过于严格。
• 开发一种参数高效的策略，实现等变性约束的平滑松弛，同时不牺牲对称性提供的归纳偏置。
• 实现从数据中端到端的、基于梯度的等变性程度学习，避免通过交叉验证进行手动超参数调优。
• 证明等变性的可学习松弛能够提升图像分类基准（如CIFAR-10和CIFAR-100）的泛化能力和性能。
• 为深度学习模型中的可调节对称性结构提供可泛化的构建模块。

提出的方法

• 该方法通过引入依赖于相对群元素和群中绝对位置的非平稳连续滤波器，推广了标准群卷积，打破了严格等变性。
• 使用群元素的傅里叶特征映射对核进行参数化，使滤波器在空间上可变，同时保持可微性和参数高效性。
• 可学习的频率向量 $\bm{\omega}'$ 控制等变性的程度，模型通过反向传播在训练过程中学习该参数。
• 采用基于增强数据的正则化方法，类似于 Augerino [4]，以稳定训练并提升泛化能力。
• 该架构支持三种模式之间的插值：非等变（类似全连接）、严格等变（标准群卷积）和严格不变映射。
• 连续核公式避免了离散核参数化带来的高参数量，使该方法具有可处理性和可扩展性。

实验结果

研究问题

• RQ1 能否设计一种神经网络层，实现等变性约束的平滑松弛，同时保留对称性的归纳偏置？
• RQ2 能否通过基于梯度的优化有效从数据中学习等变性的程度？
• RQ3 在严格对称性可能被错误指定的图像分类任务中，松弛等变性是否能提升性能？
• RQ4 与固定或部分等变基线相比，所提方法在准确率和数据效率方面表现如何？
• RQ5 所提出的非平稳滤波器能否作为深度学习模型中可调节对称性的通用构建模块？

主要发现

• 所提方法在等变性超参数的最优交叉验证选择上表现更优，在CIFAR-10和CIFAR-100上均取得更高的测试准确率。
• 在CIFAR-100上，所学松弛方法相比严格等变模型最高可提升10个百分点的测试准确率。
• 在强增强设置下，采用所学 $\bm{\omega}'$ 的模型在CIFAR-10上达到89.69%的准确率，在CIFAR-100上达到62.22%，优于具有部分或严格等变性的基线模型。
• 基于梯度学习对称性参数 $\bm{\omega}'$ 的性能与通过交叉验证调优超参数相当或更优。
• 非平稳连续核公式避免了离散核参数化带来的计算不可行性，实现了高效训练。
• 该方法成功实现了非等变、严格等变和严格不变映射之间的插值，展示了对称性控制的灵活性。