[논문 리뷰] Defense Against Adversarial Attacks with Saak Transform

Sibo Song, Yueru Chen외 2명|arXiv (Cornell University)|2018. 08. 06.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 21

한 줄 요약

이 논문은 이미지를 공동 공간-스펙트럼 표현으로 변환하고, 고주파 성분을 필터링하여 적대적 편향을 제거한 후 분류 전에 이미지를 재구성하는 Saak 변환을 사용하는 경량이며 비미분 가능 방어 방법을 제안한다. 이 방법은 적대적 훈련이나 모델 수정 없이도 CIFAR-10과 ImageNet에서 최신 기술 수준(SOTA)의 강건한 정확도를 달성한다.

ABSTRACT

Deep neural networks (DNNs) are known to be vulnerable to adversarial perturbations, which imposes a serious threat to DNN-based decision systems. In this paper, we propose to apply the lossy Saak transform to adversarially perturbed images as a preprocessing tool to defend against adversarial attacks. Saak transform is a recently-proposed state-of-the-art for computing the spatial-spectral representations of input images. Empirically, we observe that outputs of the Saak transform are very discriminative in differentiating adversarial examples from clean ones. Therefore, we propose a Saak transform based preprocessing method with three steps: 1) transforming an input image to a joint spatial-spectral representation via the forward Saak transform, 2) apply filtering to its high-frequency components, and, 3) reconstructing the image via the inverse Saak transform. The processed image is found to be robust against adversarial perturbations. We conduct extensive experiments to investigate various settings of the Saak transform and filtering functions. Without harming the decision performance on clean images, our method outperforms state-of-the-art adversarial defense methods by a substantial margin on both the CIFAR-10 and ImageNet datasets. Importantly, our results suggest that adversarial perturbations can be effectively and efficiently defended using state-of-the-art frequency analysis.

연구 동기 및 목표

• 깊이 신경망이 고도로 신뢰할 수 있는 방식으로 오류를 유도할 수 있는 적대적 편향에 대한 취약성을 해결하기 위해.
• 효율적이고 비미분 가능하며, 적대적 훈련이나 레이블 정보가 필요 없는 방어 메커니즘을 개발하기 위해.
• Saak 변환을 통한 주파수 도메인 분석이 청소년 이미지 성능을 유지하면서도 적대적 노이즈를 효과적으로 식별하고 제거할 수 있는지 탐구하기 위해.
• 다양한 데이터셋과 공격 유형에서 다양한 필터링 전략(스케일링, 클리핑, 절단)의 적대적 강건성에 미치는 영향을 평가하기 위해.

제안 방법

• 입력 이미지에 정방향 Saak 변환을 적용하여 공동 공간-스펙트럼 표현을 생성하기 위해.
• 세 가지 전략 중 하나를 사용하여 Saak 변환 표현의 고주파 성분을 필터링하기 위해: 계수 스케일링, 클리핑, 또는 절단.
• 분류기의 전처리 입력을 생성하기 위해 역방향 Saak 변환을 사용하여 이미지를 재구성하기 위해.
• 가장 중요한 스펙트럼 성분만 유지함으로써 최적의 필터링 전략으로 계수 절단을 사용하기 위해.
• 기존 DNN의 모델 아키텍처를 수정하지 않고도 경량이며 비미분 가능한 전처리 전단으로 Saak 기반 전처리를 통합하기 위해.
• 특히 도전적인 공격인 $CW_0$에 대해 강건성을 향상시키기 위해 Saak 방어를 공간 노이즈 제거 기법(예: 중앙값 스무딩)과 캐스케이드하여 적용하기 위해.

실험 결과

연구 질문

• RQ1 Saak 변환은 공간-스펙트럼 표현을 기반으로 적대적 이미지와 청소년 이미지를 효과적으로 구분할 수 있는가?
• RQ2 Saak 도메인에서 고주파 성분을 필터링함으로써 적대적 편향의 영향을 줄일 수 있으며, 청소년 이미지 정확도는 저하되지 않는가?
• RQ3 스케일링, 클리핑, 절단과 같은 다양한 필터링 전략은 적대적 강건성과 청소년 이미지 정확도 측면에서 어떻게 비교되는가?
• RQ4 Saak 기반 방어를 다른 전처리 기법과 조합하여 $CW_0$와 같은 강력한 공격에 대해 강건성을 추가로 향상시킬 수 있는가?
• RQ5 CIFAR-10과 ImageNet에서 다양한 공격 유형에 대해 Saak 변환 기반 방어는 최신 기술 수준 방어 기법과 비교해 강건성 측면에서 어떻게 성과를 내는가?

주요 결과

• Saak 변환 기반 방어는 모든 공격에 대해 CIFAR-10에서 평균 78.67%의 강건한 정확도를 달성하여 이전 방법들을 크게 능가했다.
• ImageNet 데이터셋에서는 모든 공격에 대해 62.67%의 강건한 정확도를 기록하여 비교된 모든 방어 기법을 초월했다.
• 절단 필터링 전략이 스케일링과 클리핑을 모두 능가하여 평가된 모든 설정에서 최고의 강건한 정확도를 달성했다.
• 청결한 이미지 정확도가 유지되었으며(중간 스무딩을 통합했을 때 CIFAR-10에서 90%, ImageNet에서 86%), 악성 입력에 대한 품질 저하가 최소한이었다.
• Saak 방어를 중앙값 스무딩과 캐스케이드함으로써 ImageNet에서 $CW_0$ 공격에 대한 강건성은 62.67%에서 66.33%로 향상되었으며, 공간 노이즈 제거와의 상호보완성을 입증했다.
• FGSM, BIM, DeepFool 및 $CW$-노름 변형과 같은 다양한 공격 유형에 대해 효과적이었으며, 특히 $CW_2$와 $CW_i$에서 뛰어난 성능을 보였다.