[论文解读] Grounding inductive biases in natural images:invariance stems from variations in data

Diane Bouchacourt, Mark Ibrahim+1 more|arXiv (Cornell University)|Jun 9, 2021

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文研究了ImageNet中数据变化如何导致视觉模型的归纳偏置，表明数据增强——尤其是平移和缩放——是实现不变性的主要因素，而非网络架构设计。尽管残差网络本身具有平移不变性，但仅使用平移增强即可实现接近最大的性能提升，且模型学习到的不变性与ImageNet中真实的数据变化因素高度一致，表明数据本身是鲁棒性的主要来源。

ABSTRACT

To perform well on unseen and potentially out-of-distribution samples, it is desirable for machine learning models to have a predictable response with respect to transformations affecting the factors of variation of the input. Here, we study the relative importance of several types of inductive biases towards such predictable behavior: the choice of data, their augmentations, and model architectures. Invariance is commonly achieved through hand-engineered data augmentation, but do standard data augmentations address transformations that explain variations in real data? While prior work has focused on synthetic data, we attempt here to characterize the factors of variation in a real dataset, ImageNet, and study the invariance of both standard residual networks and the recently proposed vision transformer with respect to changes in these factors. We show standard augmentation relies on a precise combination of translation and scale, with translation recapturing most of the performance improvement -- despite the (approximate) translation invariance built in to convolutional architectures, such as residual networks. In fact, we found that scale and translation invariance was similar across residual networks and vision transformer models despite their markedly different architectural inductive biases. We show the training data itself is the main source of invariance, and that data augmentation only further increases the learned invariances. Notably, the invariances learned during training align with the ImageNet factors of variation we found. Finally, we find that the main factors of variation in ImageNet mostly relate to appearance and are specific to each class.

研究动机与目标

• 理解数据、数据增强和模型架构对视觉模型中学习到的不变性影响的相对重要性。
• 识别支撑模型鲁棒性的ImageNet中自然的变化因素。
• 评估标准数据增强方法（如随机裁剪缩放）是否对应于真实数据中的有意义变换。
• 评估架构的归纳偏置（如CNN与ViT）或数据增强是否是不变性的主导驱动因素。
• 研究训练过程中学习到的不变性是否与ImageNet中实际存在的变化因素一致。

提出的方法

• 将标准数据增强（随机裁剪缩放）分解为独立的平移和缩放分量，以隔离其各自的贡献。
• 在控制增强条件下，使用ImageNet训练ResNet18和视觉Transformer（ViT）模型，以测量在不同变换下的性能表现。
• 使用Augerino（一种用于自动对称性发现的神经网络）从数据中学习相关变换，并评估其对泛化能力的影响。
• 通过在ImageNet验证集上测量模型对几何变换和外观变换的响应一致性来衡量不变性。
• 在不同架构（ResNet18与ViT）以及有无数据增强的情况下比较不变性，以隔离鲁棒性的来源。
• 分析Augerino学习到的变换，以确定哪些因素（如平移、缩放等）对性能最为关键。

实验结果

研究问题

• RQ1 标准数据增强方法（如随机裁剪缩放）在多大程度上对应于真实ImageNet数据中的有意义变化因素？
• RQ2 架构的归纳偏置（如CNN与ViT）如何影响不变性？它们对数据变化的响应是否存在差异？
• RQ3 数据增强是否是不变性的主要驱动因素，还是架构偏置起着更显著的作用？
• RQ4 训练过程中学习到的不变性是否与ImageNet中实际存在的变化因素一致？
• RQ5 自动对称性发现方法（如Augerino）能否识别出能提升真实数据集上模型泛化能力的相关变换？

主要发现

• 尽管残差网络已具备近似的平移不变性，但仅使用平移增强即可实现标准随机裁剪缩放增强带来的绝大部分性能提升。
• 与平移相比，缩放增强的贡献微乎其微，其性能增益显著较小。
• 尽管具有不同的归纳偏置，ResNet18与视觉Transformer模型在缩放和平移不变性方面达到了相似水平，表明数据是主导因素。
• 训练过程中学习到的不变性与ImageNet中实际存在的变化因素高度一致，这些因素主要基于外观且具有类别特异性。
• 使用Augerino自动发现相关变换时，其在ImageNet上表现有限，启用后推理性能下降，表明此类方法在真实数据上的应用存在挑战。
• 使用Augerino的最佳模型采用正则化参数λ=0.6，但即便如此，性能仍低于仅使用标准平移增强的模型，表明平移是最关键的因素。