[논문 리뷰] Shield: Fast, Practical Defense and Vaccination for Deep Learning using JPEG Compression

Nilaksh Das, Madhuri Shanbhogue외 6명|arXiv (Cornell University)|2018. 02. 19.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 48

한 줄 요약

Shield는 JPEG 압축과 백신화 및 확률적 로컬 양자화를 사용하여 적대적 이미지 공격에 대응하고, 모델 변경 없이 ImageNet에서 높은 로버스트니스와 빠른 런타임을 달성합니다.

ABSTRACT

The rapidly growing body of research in adversarial machine learning has demonstrated that deep neural networks (DNNs) are highly vulnerable to adversarially generated images. This underscores the urgent need for practical defense that can be readily deployed to combat attacks in real-time. Observing that many attack strategies aim to perturb image pixels in ways that are visually imperceptible, we place JPEG compression at the core of our proposed Shield defense framework, utilizing its capability to effectively "compress away" such pixel manipulation. To immunize a DNN model from artifacts introduced by compression, Shield "vaccinates" a model by re-training it with compressed images, where different compression levels are applied to generate multiple vaccinated models that are ultimately used together in an ensemble defense. On top of that, Shield adds an additional layer of protection by employing randomization at test time that compresses different regions of an image using random compression levels, making it harder for an adversary to estimate the transformation performed. This novel combination of vaccination, ensembling, and randomization makes Shield a fortified multi-pronged protection. We conducted extensive, large-scale experiments using the ImageNet dataset, and show that our approaches eliminate up to 94% of black-box attacks and 98% of gray-box attacks delivered by the recent, strongest attacks, such as Carlini-Wagner's L2 and DeepFool. Our approaches are fast and work without requiring knowledge about the model.

연구 동기 및 목표

• 실시간 설정에서 적대적 공격에 대한 실용적 방어의 필요성을 자극한다.
• Perturbations 제거를 위한 JPEG 기반 압축 중심의 방어를 제안한다.
• 압축에 대한 로버스트니스를 향상시키기 위해 백신화와 앙상블을 도입한다.
• 공격 추정에 방해하도록 확률적 양자화를 도입한다.
• 광범위한 실험으로 ImageNet에서 확장성과 속도를 보여준다.

제안 방법

• Perturbations 제거하면서도 정상 정확도를 보존하기 위해 전처리 방어로 JPEG 압축을 적용한다.
• 압축 이미지에 대한 재훈련으로 백신화하여 압축 아티팩트에 대한 로버스트니스를 향상시킨다.
• Stochastic Local Quantization (SLQ) 도입: 추론 중 블록별로 임의로 JPEG 품질을 할당한다.
• 다른 JPEG 품질로 훈련된 백신화된 모델들을 앙상블하여 방어의 로버스트니스를 높인다.
• ResNet-v2 50으로 ImageNet에서 강한 공격(CW-L2, DeepFool, I-FGSM, FGSM)에 대해 평가한다.
• 정확도와 속도 측면에서 이상 제거 기반(Denoising) 기준선과 비교한다 (Median Filter, TVD).

실험 결과

연구 질문

• RQ1 JPEG 기반 전처리가 다양한 공격 유형에서 적대적 섭동을 중화하는 데 얼마나 효과적인가?
• RQ2 백신화(압축 이미지에 대한 재훈련)가 압축 및 공격에 대한 로버스트니스를 향상시키는가?
• RQ3 SLQ의 블록별 양화와 모델 앙상블이 단일 양화 방식보다 더 강력하고 빠른 방어를 제공할 수 있는가?
• RQ4 방어의 효과와 정상 이미지 정확도 간의 트레이드오프는 무엇이며, Shield는 기존의 denoising 방법과 어떻게 비교되는가?

주요 결과

• CW-L2 및 DeepFool과 같은 강한 공격에 대해 블랙박스 공격은 최대 94%, 회색박스 공격은 최대 98%를 제거한다.
• JPEG 기반 전처리만으로도 공격 전반에서 상당한 정확도를 회복하며, Shield가 더욱 향상한다, 특히 높은 교란 하에서.
• 백신화 및 앙상블 전략은 비용이 낮은 대형 앙상블과 견주거나 능가하는 정확도/계산 이점을 제공한다.
• SLQ가 블록별 품질의 무작위화를 통해 공격자가 변환을 추정하는 것을 방지하여 로버스트니스를 강화한다.
• JPEG 기반 방어는 대안보다 훨씬 빠르며(JPEG ~107s/50k 이미지; TVD 및 MF는 더 느림).
• Shield는 정상 이미지 정확도를 유지하면서 적대적으로 저하된 정확도의 회복률을 크게 높인다.