[논문 리뷰] Denoising Masked AutoEncoders Help Robust Classification

Quanlin Wu, Hang Ye외 4명|arXiv (Cornell University)|2022. 10. 10.

Image and Signal Denoising Methods인용 수 5

한 줄 요약

이 논문은 이미지에 가우시안 노이즈를 추가하고 패치를 마스킹하여 손상된 이미지를 통해 원본 이미지를 재구성함으로써 비지도 학습 방식으로 비전 트랜스포머를 사전 훈련하는 Denoising Masked AutoEncoders (DMAE)를 제안한다. 사전 훈련된 인코더는 기존 방법보다 훨씬 적은 파라미터로 ImageNet에서 최고 수준의 인증 가능 강건성을 달성하며, 공격에 대한 강건성에서 더 큰 모델조차도 뛰어넘는 성능을 보인다.

ABSTRACT

In this paper, we propose a new self-supervised method, which is called Denoising Masked AutoEncoders (DMAE), for learning certified robust classifiers of images. In DMAE, we corrupt each image by adding Gaussian noises to each pixel value and randomly masking several patches. A Transformer-based encoder-decoder model is then trained to reconstruct the original image from the corrupted one. In this learning paradigm, the encoder will learn to capture relevant semantics for the downstream tasks, which is also robust to Gaussian additive noises. We show that the pre-trained encoder can naturally be used as the base classifier in Gaussian smoothed models, where we can analytically compute the certified radius for any data point. Although the proposed method is simple, it yields significant performance improvement in downstream classification tasks. We show that the DMAE ViT-Base model, which just uses 1/10 parameters of the model developed in recent work arXiv:2206.10550, achieves competitive or better certified accuracy in various settings. The DMAE ViT-Large model significantly surpasses all previous results, establishing a new state-of-the-art on ImageNet dataset. We further demonstrate that the pre-trained model has good transferability to the CIFAR-10 dataset, suggesting its wide adaptability. Models and code are available at https://github.com/quanlin-wu/dmae.

연구 동기 및 목표

• 이미지 분류에서 인증 가능한 적대적 방어를 위한 강건성을 향상시키는 비지도 사전 훈련 방법을 개발하는 것.
• 기존 이중 단계 모델이 노이즈 제거와 분류를 위한 별도의 훈련이 필요하고, 파라미터 수가 많다는 한계를 해결하는 것.
• 단일이고 소형의 비전 트랜스포머가 통합된 사전 훈련 목표를 통해 강건하고 이식 가능한 표현을 학습할 수 있음을 보여주는 것.
• 기존 방법보다 훨씬 적은 파라미터로 ImageNet에서 최고 수준의 인증 정확도를 달성하는 것.

제안 방법

• 각 픽셀에 가우시안 노이즈를 추가하고 패치를 무작위로 마스킹하여 손상된, 부분적으로 가림된 입력 이미지를 생성한다.
• 손상된 입력에서 원본 깨끗한 이미지를 재구성하도록 비전 트랜스포머 인코더-디코더 모델을 훈련하며, 노이즈 제거 지도 정보를 포함한 마스킹 자동에코딩 목표를 사용한다.
• 사전 훈련된 인코더를 가우시안 스무딩 모델의 기본 분류기로 사용하여, 노이즈가 첨가된 입력에 대한 기대값을 통한 강건성의 분석적 인증을 가능하게 한다.
• 표준 크로스 엔트로피 손실 또는 일致성 정규화를 사용하여 ImageNet에서 인코더를 미세 조정함으로써 다운스트림 강건 정확도를 향상시킨다.
• 모델의 내재된 노이즈 및 마스킹 패치에 대한 강건성을 활용하여 추가적인 적대적 데이터 없이도 인증 가능한 강건성을 향상시킨다.
• 라벨 없이 ImageNet에서 사전 훈련한 후, 최소한의 미세 조정으로 다운스트림 작업에 적응함으로써 강력한 이식 가능성과 성능을 입증한다.

실험 결과

연구 질문

• RQ1 단일이고 소형의 비전 트랜스포머가 통합된 비지도 사전 훈련 목표를 통해 강건하고 의미적으로 유의미한 표현을 학습할 수 있는가?
• RQ2 노이즈 손상과 패치 마스킹을 모두 적용한 사전 훈련이 표준 마스킹 자동에코딩만을 사용한 경우보다 더 뛰어난 인증 가능 강건성을 제공하는가?
• RQ3 더 큰 이중 단계 모델에 비해 더 작은 모델이 ImageNet에서 최고 수준의 인증 정확도를 달성할 수 있는가?
• RQ4 사전 훈련의 길이가 가우시안 스무딩 프레임워크 내에서 다운스트림 인증 가능 강건성에 어떤 영향을 미치는가?
• RQ5 사전 훈련된 DMAE 인코더가 CIFAR-10과 같은 다른 데이터셋으로 이식 가능한 정도는 어느 정도인가?

주요 결과

• DMAE ViT-Base 모델(87M 파라미터)은 Carlini 등(2022)의 모델보다 10배 더 많은 파라미터를 사용하지만도 경쟁적 또는 더 뛰어난 인증 정확도를 달성한다.
• DMAE ViT-Large 모델(304M 파라미터)은 ImageNet에서 새로운 최고 수준의 성능을 확립하며, 모든 테스트된 $σ$ 및 $r$ 설정에서 이전 결과를 모두 뛰어넘는다.
• 1100-에포크 사전 훈련 모델은 700-에포크 모델보다 일관되게 뛰어난 성능을 보이며, 더 긴 사전 훈련이 다운스트림 강건성 향상에 기여함을 입증한다.
• 일치성 정규화(CR)를 통한 미세 조정은 표준 훈련(RS) 대비 $r=3.0$에서 최대 5.7% 향상된 인증 정확도를 기록하며, 기존 방어 방법과의 강력한 호환성을 보여준다.
• 사전 훈련된 DMAE 모델은 뛀난 이식 가능성을 보이며, CIFAR-10에 대해 미세 조정 시 뚜렷한 성능 향상을 기록함으로써 ImageNet을 초월한 광범위한 적용 가능성을 시사한다.
• 높은 노이즈 수준($\sigma=1.0$)에서도 DMAE 모델은 강력한 성능을 유지하지만, MAE는 일반화에 실패함을 입증하며, 추가 노이즈에 대한 향상된 강건성을 입증한다.