[论文解读] Universal Adversarial Perturbations to Understand Robustness of Texture vs. Shape-biased Training
本文研究了在 Stylized-ImageNet 上训练的卷积神经网络（CNN）在通用对抗扰动（UAPs）下的鲁棒性，该数据集旨在减少纹理偏差。尽管采用了基于形状的训练，模型对 UAP 仍表现出高度脆弱性，且在标准 ImageNet 上进行微调会消除基于形状的偏差带来的优势，揭示了当前鲁棒性方法的关键局限性。
Convolutional Neural Networks (CNNs) used on image classification tasks such as ImageNet have been shown to be biased towards recognizing textures rather than shapes. Recent work has attempted to alleviate this by augmenting the training dataset with shape-based examples to create Stylized-ImageNet. However, in this paper we show that models trained on this modified dataset remain as vulnerable to Universal Adversarial Perturbations (UAPs) as those trained in ImageNet. We use UAPs to evaluate, compare, and understand the robustness of CNN models with varying degrees of shape-based training. We also find that a posteriori fine-tuning on ImageNet negates features learned from training on Stylized-ImageNet. This study reveals an important current limitation and highlights the need for further research into robustness of CNNs for visual recognition.
研究动机与目标
- 评估在 Stylized-ImageNet 上训练是否能降低 CNN 对通用对抗扰动（UAPs）的脆弱性。
- 使用 UAP 作为诊断工具，比较不同形状训练程度的模型的鲁棒性。
- 探究在基于形状的预训练后，对标准 ImageNet 进行微调是否能保留或抵消所学得的鲁棒性。
- 理解当前数据增强策略在提升模型鲁棒性方面存在的根本局限性。
提出的方法
- 应用通用对抗扰动（UAPs）来评估在 ImageNet 和 Stylized-ImageNet 上训练的模型的鲁棒性。
- 通过逐步增加基于形状的数据增强程度来训练模型，以形成形状偏差强度的连续谱。
- 测量在干净输入和扰动输入上的 UAP 成功率与欺骗率，以量化鲁棒性。
- 在基于形状的预训练后，对标准 ImageNet 进行事后微调，以评估特征保留情况。
- 将 UAP 用作诊断工具，以探测训练后模型的归纳偏好。
实验结果
研究问题
- RQ1在 Stylized-ImageNet 上训练的模型是否相比在标准 ImageNet 上训练的模型，对通用对抗扰动表现出更好的鲁棒性？
- RQ2形状训练的程度与 UAP 脆弱性之间有何相关性？
- RQ3在基于形状的预训练后，对标准 ImageNet 进行微调在多大程度上抵消了形状偏差带来的优势？
- RQ4UAP 敏感性揭示了在数据增强数据集上训练的 CNN 的归纳偏好有何本质特征？
主要发现
- 在 Stylized-ImageNet 上训练的模型对通用对抗扰动的脆弱性与在标准 ImageNet 上训练的模型相当。
- 形状训练的程度并未显著降低 UAP 成功率，表明脆弱性依然持续存在。
- 在基于形状的预训练后，对标准 ImageNet 进行事后微调会消除通过形状训练获得的鲁棒性增益。
- UAP 有效揭示了即使明确针对纹理偏差进行优化，当前的数据增强策略仍无法产生真正鲁棒的模型。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。