[论文解读] Enhance the Visual Representation via Discrete Adversarial Training

Xiaofeng Mao, Yuefeng Chen+7 more|arXiv (Cornell University)|Sep 16, 2022

Digital Media Forensic Detection被引用 10

一句话总结

本文提出了一种名为离散对抗训练（Discrete Adversarial Training, DAT）的新方法，通过使用VQGAN将图像离散化为符号化的视觉词，并在这些离散表示上应用对抗训练，从而增强视觉表征能力。DAT在保持干净准确率的同时，实现了最先进的鲁棒性——在ImageNet-C上达到31.40 mCE，在Stylized-ImageNet上达到32.77%的top-1准确率，优于标准对抗训练，其通过在离散标记上使用直通梯度估计生成了更多分布内（in-distribution）的对抗样本，从而提升了性能。

ABSTRACT

Adversarial Training (AT), which is commonly accepted as one of the most effective approaches defending against adversarial examples, can largely harm the standard performance, thus has limited usefulness on industrial-scale production and applications. Surprisingly, this phenomenon is totally opposite in Natural Language Processing (NLP) task, where AT can even benefit for generalization. We notice the merit of AT in NLP tasks could derive from the discrete and symbolic input space. For borrowing the advantage from NLP-style AT, we propose Discrete Adversarial Training (DAT). DAT leverages VQGAN to reform the image data to discrete text-like inputs, i.e. visual words. Then it minimizes the maximal risk on such discrete images with symbolic adversarial perturbations. We further give an explanation from the perspective of distribution to demonstrate the effectiveness of DAT. As a plug-and-play technique for enhancing the visual representation, DAT achieves significant improvement on multiple tasks including image classification, object detection and self-supervised learning. Especially, the model pre-trained with Masked Auto-Encoding (MAE) and fine-tuned by our DAT without extra data can get 31.40 mCE on ImageNet-C and 32.77% top-1 accuracy on Stylized-ImageNet, building the new state-of-the-art. The code will be available at https://github.com/alibaba/easyrobust.

研究动机与目标

• 为解决视觉模型对抗训练中鲁棒性与标准准确率之间的权衡问题，该问题通常会导致干净性能下降。
• 探究NLP中离散符号输入的对抗训练泛化优势是否可迁移至计算机视觉领域。
• 开发一种即插即用的方法，无需架构修改即可在多种视觉任务中增强视觉表征学习。
• 通过生成更真实、分布内（in-distribution）的对抗样本，提升对$l_p$-有界和无限制语义对抗攻击的鲁棒性。
• 证明离散对抗训练可在鲁棒图像分类和自监督学习中实现最先进性能。

提出的方法

• 使用预训练的基于VQGAN的码书将连续图像输入离散化为符号化的视觉词，将图像转换为类似自然语言标记的离散索引序列。
• 通过在离散索引上执行一步梯度上升来生成对抗样本，并使用直通梯度估计器在离散瓶颈层反向传播梯度，从而在离散表示空间中应用对抗训练。
• 使用可微分的直通近似方法，实现从离散表示到原始图像空间的梯度流动，支持端到端训练。
• 在干净图像和生成的离散对抗样本上联合训练视觉模型，最小化这些扰动离散输入的最大风险。
• 利用离散对抗样本与干净数据之间的分布接近性，通过分布分析验证其在泛化与鲁棒性上的优势。
• 将DAT与预训练方法（如掩码自编码，MAE）结合，实现强初始化，从而在无需额外数据的情况下达到SOTA性能。

实验结果

研究问题

• RQ1 通过利用离散符号化表示，是否可以将NLP风格对抗训练的泛化优势迁移至视觉模型？
• RQ2 在离散视觉标记上进行对抗训练，是否相比在连续像素上进行标准对抗训练，能带来更好的鲁棒性与泛化能力？
• RQ3 离散化器的质量（如FID、码本大小）如何影响离散对抗训练的性能？
• RQ4 DAT是否能同时提升对$l_p$-有界攻击（如FGSM）和无限制语义攻击（如AdvDrop和PerC-Adversarial）的鲁棒性？
• RQ5 在分类、检测和自监督学习等多样化视觉任务中，DAT是否能在提升鲁棒性的同时保持或提升干净准确率？

主要发现

• 在微调MAE预训练的ViT-Huge模型时，DAT在ImageNet-C上实现了31.40 mCE的新SOTA鲁棒性，在Stylized-ImageNet上达到32.77%的top-1准确率。
• 该方法在应对$l_p$-有界攻击（如FGSM）和无限制语义攻击（如PerC-Adversarial）方面均表现出更强鲁棒性，ViT模型对扰动幅度的鲁棒性尤为突出。
• 即使对抗扰动幅度$\alpha$增加，DAT仍能保持高干净准确率（如在ImageNet上达到76.52%），而标准AT则出现准确率下降。
• 更大的码本大小（$K=16384$）可提升泛化能力并降低生成图像的FID，但干净准确率在达到某一大小后趋于饱和。
• 高质量离散化器（如在OpenImages上训练的VQGAN，FID=1.14）显著提升性能，而性能较弱的离散化器（如DALL-E，FID=32.01）会使干净准确率降低1.3%。
• ViT模型对对抗扰动幅度$\alpha$的敏感度低于ResNet50，表明其与离散表示学习具有更好的兼容性。