[논문 리뷰] Towards Adversarial Purification using Denoising AutoEncoders

Dvij Kalaria, Aritra Hazra외 1명|arXiv (Cornell University)|2022. 08. 29.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 악성 입력을 원래의 깨끗한 형태로 복원하기 위해 복원 오차를 적응적으로 최소화하는 비미분(adversarial purification) 프레임워크인 APuDAE를 제안한다. Denoising AutoEncoders(DAE)에서 재구성 오차를 반복적으로 줄이며 입력을 정제함으로써, 이미지 품질을 유지하면서 MNIST, CIFAR-10, ImageNet에서 강력한 적응형 공격에 대해 최신 기술 수준의 내성 확보를 달성한다. 직접 DAE 적용 및 악성 훈련보다 뛰어난 성능을 보인다.

ABSTRACT

With the rapid advancement and increased use of deep learning models in image identification, security becomes a major concern to their deployment in safety-critical systems. Since the accuracy and robustness of deep learning models are primarily attributed from the purity of the training samples, therefore the deep learning architectures are often susceptible to adversarial attacks. Adversarial attacks are often obtained by making subtle perturbations to normal images, which are mostly imperceptible to humans, but can seriously confuse the state-of-the-art machine learning models. We propose a framework, named APuDAE, leveraging Denoising AutoEncoders (DAEs) to purify these samples by using them in an adaptive way and thus improve the classification accuracy of the target classifier networks that have been attacked. We also show how using DAEs adaptively instead of using them directly, improves classification accuracy further and is more robust to the possibility of designing adaptive attacks to fool them. We demonstrate our results over MNIST, CIFAR-10, ImageNet dataset and show how our framework (APuDAE) provides comparable and in most cases better performance to the baseline methods in purifying adversaries. We also design adaptive attack specifically designed to attack our purifying model and demonstrate how our defense is robust to that.

연구 동기 및 목표

• 안전 기반 응용 분야에서 인식할 수 없는 악성 편향에 취약한 딥러닝 모델의 문제를 해결하기 위해.
• 단순히 악성 입력을 탐지하는 것만이 아니라, 악성 입력을 정제하는 방어 기법을 개발하기 위해.
• 일반적인 DAE 기반 정제 방법은 이미지를 흐리게 만들고 기울기 기반 공격에 취약하므로 이를 개선하기 위해.
• 백색 및 GRAY-박스 적응형 공격에 저항할 수 있는 비미분적이고 적응적인 정제 과정을 설계하기 위해.
• 정제 기법 자체를 공격하는 새로운 적응형 공격에 대한 내성성 평가를 수행하기 위해.

제안 방법

• 깨끗한 이미지를 노이즈가 있는 입력에서 재구성하도록 훈련된 Denoising AutoEncoder(DAE)를 사용하여, 데이터 분포를 학습한다.
• 악성 입력에 직접 DAE를 적용하는 대신, 재구성 오차를 최소화하기 위해 반복적 업데이트를 통해 입력을 적응적으로 정제한다.
• 반복적 정제 과정은 재구성 오차를 줄이는 방향으로 입력 이미지를 편향시키는 프로젝션 기반 기울기 방법을 사용하며, ε 구내에 제약을 둔다.
• 최적화 과정 중 각 단계에서 무작위 노이즈와 변환을 통합함으로써 내성성을 향상시키고 최적화 중 모드 붕괴를 방지한다.
• 정제 과정이 비미분적이므로, 방어 기법을 공격하는 기울기 기반 적응형 공격에 저항할 수 있다.
• 두 가지 적응형 공격을 사용하여 프레임워크를 평가한다: 하나는 기울기 상승을 통해 분류기 타겟으로 삼고, 다른 하나는 분류기 및 DAE 재구성 오차 손실을 조합하여 둘 다 속일 수 있도록 한다.

실험 결과

연구 질문

• RQ1 DAE 재구성 오차의 적응적 최소화가 깨끗한 특징을 흐리게 하지 않고도 악성 정제 성능을 향상시킬 수 있는가?
• RQ2 직접 DAE 적용 대비 비미분적이고 반복적인 입력 정제 과정이 내성성과 정확도 측면에서 어떤가?
• RQ3 제안된 방법이 분류기와 방어 기법을 동시에 공격하는 강력한 적응형 공격에 저항할 수 있는가?
• RQ4 정제 과정 중 적응형 노이즈와 변환을 사용함으로써, 회피 공격에 대한 내성성이 향상되는가?
• RQ5 다양한 벤치마크에서 악성 훈련 및 다른 최신 기술 수준의 정제 방법 대비 APuDAE의 성능은 어떠한가?

주요 결과

• MNIST에서 APuDAE는 공격 A에 대해 89.1%의 정확도, 공격 B에 대해 85.7%의 정확도를 기록하여, 직접 DAE 정제 방법(각각 79.9% 및 81.5%)보다 뚜렷이 뛰어났다.
• CIFAR-10에서 APuDAE는 공격 A에 대해 68.0%의 정확도, 공격 B에 대해 50.7%의 정확도를 기록하여, 직접 DAE 방법(각각 19.9% 및 27.5%)과 악성 훈련(48.3%)을 모두 초월했다.
• ImageNet에서 APuDAE는 공격 A에 대해 53.6%의 정확도, 공격 B에 대해 40.7%의 정확도를 기록하여, 직접 DAE(각각 13.4% 및 31.2%)와 악성 훈련(25.4%)을 모두 능가했다.
• 적응적 정제 방법은 직접 DAE 적용 대비 이미지 흐림 현상을 줄였으며, 깨끗한 입력에 대한 분류기 정확도를 유지했다.
• 비미분적 성격 덕분에 기울기 기반 적응형 공격에 강건했으며, 직접 DAE는 성능 저하가 일관되게 나타났지만 APuDAE는 그렇지 않았다.
• 최적화 단계에서 무작위 노이즈와 변환을 통합함으로써 내성성이 더욱 향상되었으며, 특히 낮은 재구성 민감도를 악용하는 엣지 기반 공격에 대해 효과적이었다.