[论文解读] Invariant backpropagation: how to train a transformation-invariant neural network

Sergey Demyanov, James Bailey+2 more|arXiv (Cornell University)|Feb 16, 2015

Domain Adaptation and Few-Shot Learning参考文献 18被引用 6

一句话总结

本文提出了反向传播的两种新颖扩展——损失不变反向传播（Loss IBP）和预测不变反向传播（Prediction IBP），通过修改梯度计算，使神经网络能够对输入变化保持鲁棒性。预测IBP通过沿损失梯度最陡方向强制预测不变性，其在MNIST和CIFAR-10上的分类准确率高于标准反向传播及其他方法，尽管计算成本增加了20%。

ABSTRACT

In many classification problems a classifier should be robust to small variations in the input vector. This is a desired property not only for particular transformations, such as translation and rotation in image classification problems, but also for all others for which the change is small enough to retain the object perceptually indistinguishable. We propose two extensions of the backpropagation algorithm that train a neural network to be robust to variations in the feature vector. While the first of them enforces robustness of the loss function to all variations, the second method trains the predictions to be robust to a particular variation which changes the loss function the most. The second methods demonstrates better results, but is slightly slower. We analytically compare the proposed algorithm with two the most similar approaches (Tangent BP and Adversarial Training), and propose their fast versions. In the experimental part we perform comparison of all algorithms in terms of classification accuracy and robustness to noise on MNIST and CIFAR-10 datasets. Additionally we analyze how the performance of the proposed algorithm depends on the dataset size and data augmentation.

研究动机与目标

• 解决标准反向传播对小幅度输入变化（如平移、旋转或噪声）缺乏不变性的问题。
• 开发一种方法，显式正则化神经网络以对局部输入变换保持鲁棒性，而无需依赖数据增强。
• 与现有方法（如切线BP和对抗训练）相比，评估所提方法在准确率和鲁棒性方面的表现。
• 分析数据集大小和数据增强对所提正则化方法有效性的影响。

提出的方法

• 损失IBP通过利用损失对输入扰动的雅可比矩阵调整梯度，使损失函数对所有小幅度输入变化保持不变。
• 预测IBP通过将梯度更新与损失变化最陡方向对齐，强制网络预测对最增加损失的输入变化保持不变。
• 该方法使用改进的链式法则计算权重梯度，结合沿变换方向的方向导数，实现高效的反向传播。
• 对于大多数层类型，损失IBP仅需一次额外前向传播，因此计算效率较高。
• 提出了切线BP和对抗训练的快速版本，后者在15%更快的速度下达到原始性能。
• 该方法适用于所有神经网络架构，并可与其他正则化技术结合使用。

实验结果

研究问题

• RQ1 我们能否扩展标准反向传播，使神经网络对小幅度输入变化保持不变性，而无需依赖数据增强？
• RQ2 与损失函数不变性（损失IBP）相比，预测不变性（预测IBP）在准确率和鲁棒性方面表现如何？
• RQ3 所提方法是否能提升MNIST和CIFAR-10等数据集在噪声和对抗扰动下的泛化能力？
• RQ4 数据集大小和数据增强如何影响不变反向传播的性能提升？
• RQ5 能否在不损失性能的前提下，为现有方法（如切线BP和对抗训练）开发快速变体？

主要发现

• 预测IBP在MNIST和CIFAR-10上均取得了最高的分类准确率，优于标准反向传播及其他正则化方法。
• 在MNIST上，标准反向传播对高斯噪声的鲁棒性优于所有其他方法，包括预测IBP和对抗训练。
• 切线BP在CIFAR-10上表现最佳，但在两个数据集上对高斯噪声和对抗噪声均最敏感。
• 在MNIST的1,000个样本子集上，预测IBP的性能提升达43%；在完整的60,000个样本数据集上，提升为18%，表明即使在大规模数据集上也具有显著的正则化效果。
• 数据增强无法完全替代预测IBP，因为即使在应用数据增强后，该方法仍保持性能优势，表明其捕捉到了超越增强数据的不变性。
• 对抗训练的快速版本在性能与原始方法相当的同时，速度提升了15%；而快速版切线BP未在准确率上优于原始版本。