[论文解读] Learning invariances in neural networks

Gregory W. Benton, Marc Finzi+2 more|arXiv (Cornell University)|Jan 1, 2020

Machine Learning in Bioinformatics被引用 2

一句话总结

本文提出一种方法，通过联合优化神经网络权重和数据增强分布的参数，自动学习数据的不变性与等变性。通过端到端训练，模型能直接从训练数据中发现正确的对称群及其范围——如平移、旋转或缩放——从而在图像分类、回归、分割及分子性质预测任务中提升泛化能力。

ABSTRACT

Invariances to translations have imbued convolutional neural networks with powerful generalization properties. However, we often do not know a priori what invariances are present in the data, or to what extent a model should be invariant to a given symmetry group. We show how to \emph{learn} invariances and equivariances by parameterizing a distribution over augmentations and optimizing the training loss simultaneously with respect to the network parameters and augmentation parameters. With this simple procedure we can recover the correct set and extent of invariances on image classification, regression, segmentation, and molecular property prediction from a large space of augmentations, on training data alone.

研究动机与目标

• 为解决真实世界数据中未知或模糊的不变性（如平移、旋转或缩放）带来的挑战，这些不变性在深度学习中通常被假设或手工设计。
• 开发一种方法，自动识别给定任务的正确不变性集合及其程度，而非依赖于固定的增强方案。
• 通过学习与数据底层对称性相匹配的最优增强分布，提升模型泛化能力。
• 在统一的可微分框架下，将不变性与等变性学习统一处理，适用于多种任务。

提出的方法

• 使用可学习参数（如平移范围、旋转角度或缩放因子）参数化数据增强的分布。
• 通过反向传播对增强采样过程进行微分，将增强分布整合到训练过程中。
• 通过反向传播联合优化网络权重与增强参数的训练损失。
• 在训练过程中使用蒙特卡洛采样增强，以估计在所学增强分布上的期望损失。
• 将该框架应用于多种任务，包括图像分类、回归、语义分割和分子性质预测。
• 实现端到端的不变性学习，无需事先知道对称群或其范围。

实验结果

研究问题

• RQ1 神经网络能否自动发现数据中存在的正确不变性群（如平移、旋转）？
• RQ2 模型应对某种对称性的不变性程度应达到多大？这一程度能否从数据中学习得到？
• RQ3 与固定增强方案相比，联合学习增强与模型参数是否能提升泛化性能？
• RQ4 该方法是否能发现结构化预测任务中的等变性模式，而不仅限于不变性？

主要发现

• 该方法在图像分类与分割任务中，能从大量候选增强中成功恢复出正确的不变性结构（如平移或旋转）。
• 所学增强分布的泛化能力优于标准的固定增强，从而提升了模型的鲁棒性与测试准确率。
• 该方法能自动发现有意义的不变性范围（如合适的旋转范围），而无需人工指定。
• 通过学习分子几何中的相关不变性，该框架在分子性质预测任务中显著提升了性能。