[论文解读] Denoising Masked AutoEncoders Help Robust Classification

Quanlin Wu, Hang Ye+4 more|arXiv (Cornell University)|Oct 10, 2022

Image and Signal Denoising Methods被引用 5

一句话总结

本文提出去噪掩码自编码器（DMAE），一种自监督方法，通过在图像中添加高斯噪声并随机掩码图像块，对视觉变换器进行预训练，随后重建原始图像。该预训练编码器在ImageNet上实现了最先进的可认证鲁棒性，且参数量远少于先前方法，在对抗性攻击下的鲁棒准确率甚至优于更大的模型。

ABSTRACT

In this paper, we propose a new self-supervised method, which is called Denoising Masked AutoEncoders (DMAE), for learning certified robust classifiers of images. In DMAE, we corrupt each image by adding Gaussian noises to each pixel value and randomly masking several patches. A Transformer-based encoder-decoder model is then trained to reconstruct the original image from the corrupted one. In this learning paradigm, the encoder will learn to capture relevant semantics for the downstream tasks, which is also robust to Gaussian additive noises. We show that the pre-trained encoder can naturally be used as the base classifier in Gaussian smoothed models, where we can analytically compute the certified radius for any data point. Although the proposed method is simple, it yields significant performance improvement in downstream classification tasks. We show that the DMAE ViT-Base model, which just uses 1/10 parameters of the model developed in recent work arXiv:2206.10550, achieves competitive or better certified accuracy in various settings. The DMAE ViT-Large model significantly surpasses all previous results, establishing a new state-of-the-art on ImageNet dataset. We further demonstrate that the pre-trained model has good transferability to the CIFAR-10 dataset, suggesting its wide adaptability. Models and code are available at https://github.com/quanlin-wu/dmae.

研究动机与目标

• 开发一种自监督预训练方法，以增强图像分类中可认证对抗防御的鲁棒性。
• 解决先前两阶段模型参数量过大且需分别训练去噪与分类任务的局限性。
• 证明单一紧凑视觉变换器可通过统一的预训练目标学习到鲁棒且可迁移的表征。
• 在远少于现有方法参数量的前提下，实现ImageNet上最先进的可认证准确率。

提出的方法

• 通过在每个像素上添加高斯噪声，并随机掩码图像块，对输入图像进行破坏，生成噪声且部分遮挡的输入。
• 训练一个视觉变换器编码器-解码器模型，通过带有去噪监督的掩码自编码目标，从破坏输入中重建原始清晰图像。
• 将预训练的编码器用作高斯平滑模型中的基础分类器，通过噪声破坏输入的期望实现鲁棒性的解析认证。
• 在ImageNet上使用标准交叉熵损失或一致性正则化对编码器进行微调，以提升下游鲁棒准确率。
• 利用模型对噪声和掩码图像块的内在鲁棒性，提升可认证鲁棒性，而无需额外的对抗性数据。
• 在无标签的ImageNet上进行预训练，随后通过极少微调适应下游任务，展示出强大的迁移能力。

实验结果

研究问题

• RQ1 单一紧凑视觉变换器能否通过统一的自监督预训练目标学习到鲁棒且语义有意义的表征？
• RQ2 与仅使用标准掩码自编码相比，同时引入噪声破坏与图像块掩码是否能带来更好的可认证鲁棒性？
• RQ3 相较于更大规模的两阶段模型，更小的模型是否也能在ImageNet上实现最先进的可认证准确率？
• RQ4 预训练长度如何影响高斯平滑框架下下游可认证鲁棒性？
• RQ5 预训练的DMAE编码器在其他数据集（如CIFAR-10）上的迁移能力如何？

主要发现

• DMAE ViT-Base模型（8700万参数）在可认证准确率上达到与Carlini等人（2022）模型相当或更优的表现，而后者参数量高出10倍。
• DMAE ViT-Large模型（30400万参数）在ImageNet上建立了新的SOTA，其在所有测试的$σ$和$r$设置下均超越了此前所有结果的可认证准确率。
• 经过1100轮预训练的模型始终优于700轮版本，表明更长的预训练能提升下游鲁棒性。
• 与标准训练（RS）相比，使用一致性正则化（CR）进行微调在$r=3.0$时可将可认证准确率提升高达5.7%，显示出与现有防御方法的强兼容性。
• 预训练的DMAE模型展现出强大的迁移能力，在微调至CIFAR-10时获得显著性能提升，表明其在ImageNet之外也具有广泛适用性。
• 即使在高斯噪声水平较高（$\sigma=1.0$）时，DMAE模型仍保持优异性能，而MAE则无法泛化，证明其对加性噪声具有更强的鲁棒性。