[논문 리뷰] Enhance the Visual Representation via Discrete Adversarial Training

Xiaofeng Mao, Yuefeng Chen외 7명|arXiv (Cornell University)|2022. 09. 16.

Digital Media Forensic Detection인용 수 10

한 줄 요약

이 논문은 VQGAN를 사용해 이미지를 기호적 시각 단어로 이산화하고, 이러한 이산 표현에 대해 적대적 훈련을 적용함으로써 시각 표현을 향상시키는 새로운 방법인 이산 적대적 훈련(DAT)을 제안한다. DAT는 정상 이미지 정확도를 유지하면서도 ImageNet-C에서 31.40 mCE, Stylized-ImageNet에서 32.77% top-1 정확도를 기록하여 최신 기술 수준의 강건성을 달성한다. 이는 이산 토큰에 대해 직선형 경사 추정을 통해 더 많은 분포 내 적대적 예제를 생성함으로써 기존의 적대적 훈련보다 우수한 성능을 내기 때문이다.

ABSTRACT

Adversarial Training (AT), which is commonly accepted as one of the most effective approaches defending against adversarial examples, can largely harm the standard performance, thus has limited usefulness on industrial-scale production and applications. Surprisingly, this phenomenon is totally opposite in Natural Language Processing (NLP) task, where AT can even benefit for generalization. We notice the merit of AT in NLP tasks could derive from the discrete and symbolic input space. For borrowing the advantage from NLP-style AT, we propose Discrete Adversarial Training (DAT). DAT leverages VQGAN to reform the image data to discrete text-like inputs, i.e. visual words. Then it minimizes the maximal risk on such discrete images with symbolic adversarial perturbations. We further give an explanation from the perspective of distribution to demonstrate the effectiveness of DAT. As a plug-and-play technique for enhancing the visual representation, DAT achieves significant improvement on multiple tasks including image classification, object detection and self-supervised learning. Especially, the model pre-trained with Masked Auto-Encoding (MAE) and fine-tuned by our DAT without extra data can get 31.40 mCE on ImageNet-C and 32.77% top-1 accuracy on Stylized-ImageNet, building the new state-of-the-art. The code will be available at https://github.com/alibaba/easyrobust.

연구 동기 및 목표

• 비교적 정상 성능이 떨어지는 적대적 훈련에서 강건성과 표준 정확도 사이의 상충 관계를 해결하기 위해.
• 자연어 처리에서 이산적이고 기호적인 입력이 존재하는 바탕으로, 적대적 훈련의 일반화 이점이 컴퓨터 비전에 어떻게 전이될 수 있는지 탐구하기 위해.
• 아키텍처 변경 없이도 다양한 비전 작업에서 시각 표현 학습을 향상시키는 즉시 사용 가능한 방법을 개발하기 위해.
• $l_p$-유계 및 제한 없는 의미적 적대적 공격에 대해 더 현실적이고 분포 내 적대적 예제를 생성함으로써 강건성을 향상시키기 위해.
• 이산 적대적 훈련이 강건한 이미지 분류 및 자기지도 학습에서 최신 기술 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 사전 훈련된 VQGAN 기반 코드북을 사용해 연속적인 이미지 입력을 기호적 시각 단어로 이산화함으로써, 자연어 토큰과 유사한 이산 인덱스의 시퀀스로 변환한다.
• 이산 표현 공간에서 적대적 훈련을 적용하기 위해, 이산 인덱스에 대해 한 스텝의 경사 상승을 통해 적대적 예제를 생성하고, 이산 버블 너머로 역전파를 가능하게 하기 위해 직선형 경사 추정기를 사용한다.
• 이산 표현에서 원래 이미지 공간으로의 경사 흐름을 가능하게 하기 위해 미분 가능한 직선형 근사(approximation)를 사용하여 엔드 투 엔드 훈련을 가능하게 한다.
• 청정 이미지와 생성된 이산 적대적 예제 양쪽 모두에 대해 비전 모델을 훈련시켜, 이로 인한 훈련 손실을 최소화함으로써 최대 위험을 최소화한다.
• 분포 분석에 의해 보여지듯이, 이산 적대적 예제가 청정 데이터와 분포적으로 유사하므로 일반화 및 강건성을 향상시킨다.
• MAE와 같은 사전 훈련 방법과 DAT를 결합하여 강력한 초기화를 달성함으로써, 추가 데이터 없이도 최신 기술 수준의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 이산적이고 기호적인 표현을 활용함으로써 자연어 처리 방식의 적대적 훈련 일반화 이점이 비전 모델로 전이될 수 있는가?
• RQ2 연속 픽셀이 아닌 이산 시각 토큰에서의 적대적 훈련이 기존의 연속 픽셀 기반 적대적 훈련보다 더 높은 강건성과 일반화 성능을 제공하는가?
• RQ3 이산화 기술의 품질(예: FID, 코드북 크기)이 이산 적대적 훈련의 성능에 어떤 영향을 미치는가?
• RQ4 DAT는 $l_p$-유계 공격과 제한 없는 의미적 공격(예: AdvDrop, PerC-Adversarial) 모두에 대해 강건성을 향상시킬 수 있는가?
• RQ5 DAT는 다양한 비전 작업(예: 분류, 객체 검출, 자기지도 학습)에서 강건성을 향상시키면서도 정상 정확도를 유지하거나 향상시키는가?

주요 결과

• MAE 사전 훈련된 ViT-Huge 모델을 미세 조정할 때 DAT는 ImageNet-C에서 31.40 mCE, Stylized-ImageNet에서 32.77% top-1 정확도를 기록하며 새로운 최신 기술 수준의 강건성을 확보한다.
• ViT 모델은 노이즈 크기 변화에 더 강건하여, $l_p$-유계 공격(예: FGSM)과 제한 없는 의미적 공격(예: PerC-Adversarial) 모두에 대해 강건성을 향상시키며, 특히 노이즈 크기에 대한 민감도가 낮다.
• 기존의 AT와 달리, DAT는 적대적 노이즈 크기 $\alpha$가 증가하더라도 정상 정확도를 유지한다(예: ImageNet에서 76.52%).
• 더 큰 코드북 크기($K=16384$)는 일반화 성능 향상과 생성된 이미지의 FID 감소에 기여하지만, 일정 크기 이상에서는 정상 정확도가 정체된다.
• 고품질의 이산화 기술(예: OpenImages에서 FID=1.14인 VQGAN)은 성능 향상에 기여하지만, 낮은 품질의 기술(예: FID=32.01인 DALL-E)은 정상 정확도를 1.3% 감소시킨다.
• ViT 모델은 ResNet50보다 적대적 노이즈 크기 $\alpha$에 대해 덜 민감하며, 이는 이산 표현 학습과의 더 높은 호환성을 의미한다.