[论文解读] Studying Invariances of Trained Convolutional Neural Networks

Charlotte Bunne, Lukas Rahmann+1 more|arXiv (Cornell University)|Mar 15, 2018

Advanced Neural Network Applications参考文献 3被引用 7

一句话总结

本文提出了一种可学习模块——不变变换器网络（Invariant Transformer Net），用于识别使训练好的CNN（如AlexNet和ResNet）保持不变的仿射变换的可微分参数。通过大规模筛选仿射与非仿射变换，研究揭示了在分类准确率下降之前，各类变换存在特定的阈值，表明不变性仅在中等变换幅度下成立。

ABSTRACT

Convolutional Neural Networks (CNNs) define an exceptionally powerful class of models for image classification, but the theoretical background and the understanding of how invariances to certain transformations are learned is limited. In a large scale screening with images modified by different affine and nonaffine transformations of varying magnitude, we analyzed the behavior of the CNN architectures AlexNet and ResNet. If the magnitude of different transformations does not exceed a class- and transformation dependent threshold, both architectures show invariant behavior. In this work we furthermore introduce a new learnable module, the Invariant Transformer Net, which enables us to learn differentiable parameters for a set of affine transformations. This allows us to extract the space of transformations to which the CNN is invariant and its class prediction robust.

研究动机与目标

• 系统分析训练好的CNN（如AlexNet与ResNet）在各种变换下的不变性特性。
• 识别保持正确分类的仿射与非仿射变换的最大幅度，揭示与变换类型相关的鲁棒性阈值。
• 开发一种可学习、可微分的模块——不变变换器网络，以发现CNN保持不变的变换空间。
• 比较不同架构间的不变性行为，理解不变性与网络深度及结构之间的关联。
• 提供一种受控且参数化的方法，用于探测与提取训练好的CNN的不变性空间。

提出的方法

• 引入不变变换器网络作为可微分模块，通过可学习权重 $k_1$（空间）和 $k_2$（颜色）参数化仿射变换，实现与CNN的端到端联合训练。
• 使用ImageNet验证集图像进行训练，最小化联合损失：$ abla_{ heta} ext{Loss}_{ ext{orig}}$（CNN损失）与 $ abla_{k_1,k_2} ext{Loss}_{ ext{transform}}$（变换器损失），目标是在变换下保持分类准确率。
• 通过大规模筛选评估增加变换幅度（如平移、旋转、噪声、缩放）对AlexNet与ResNet的Softmax输出的影响。
• 对每类图像，跟踪随着变换参数增加，平均Softmax概率的变化，以检测预测置信度下降的临界点。
• 使用预训练模型（AlexNet与ResNet-101），对输入图像应用高斯噪声、旋转、缩放和平移等变换。
• 不变变换器网络被训练以发现能保持高分类准确率的变换，从而有效学习每类的最优不变性空间。

实验结果

研究问题

• RQ1 AlexNet与ResNet在何种最大幅度的仿射与非仿射变换下仍保持不变？
• RQ2 不同变换类型（如旋转、噪声、缩放）如何影响各类图像的分类鲁棒性？
• RQ3 像不变变换器网络这样的可学习、可微分模块能否发现CNN保持不变的变换空间？
• RQ4 不变性阈值在不同图像类别与变换类型之间如何变化？
• RQ5 更深的网络（如ResNet）所学习的不变性在多大程度上与浅层网络（如AlexNet）保持一致？

主要发现

• AlexNet与ResNet仅在变换幅度低于特定类与变换相关的阈值时，才对仿射与非仿射变换表现出不变性。
• 对于旋转，当角度超过约180°时，不变性被破坏，高旋转角度下分类准确率显著下降。
• 不变变换器网络成功学习了低信息损失的变换，如适度的缩放与小幅度颜色偏移，但避免了高幅度失真（如极端旋转或缩放）。
• 网络对颜色变化高度敏感，仅学习低幅度的颜色变换，表明其对颜色扰动存在固有脆弱性。
• 两种网络的可学习不变性空间在架构间保持一致，ResNet在类似变换下的不变性阈值与AlexNet相似。
• 大规模筛选结果表明，高斯噪声与对比度变化等非仿射变换显著降低置信度，尤其在中等以上噪声水平时，表明其鲁棒性有限。