[논문 리뷰] On the Limitations of Denoising Strategies as Adversarial Defenses

Zhong-Han Niu, Zhaoxi Chen외 4명|arXiv (Cornell University)|2020. 12. 17.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 10

한 줄 요약

이 논문은 완전한 변형 접근 권한이라는 강력한 가정 하에, 적대적 노이즈에 직접적으로 적용함으로써 노이즈 제거 기반 방어의 한계를 평가하여 적대적 로버스트니에 대한 제약을 조사한다. 특징 공간 내 주파수 대역에 걸쳐 적응형 압축 전략을 제안하며, 강력한 PGD 공격 하에서 65.7%의 로버스트 정확도를 달성함으로써 기존의 노이즈 제거 방법들을 능가하는 뛰어난 로버스트니를 입증한다.

ABSTRACT

As adversarial attacks against machine learning models have raised increasing concerns, many denoising-based defense approaches have been proposed. In this paper, we summarize and analyze the defense strategies in the form of symmetric transformation via data denoising and reconstruction (denoted as $F+$ inverse $F$, $F-IF$ Framework). In particular, we categorize these denoising strategies from three aspects (i.e. denoising in the spatial domain, frequency domain, and latent space, respectively). Typically, defense is performed on the entire adversarial example, both image and perturbation are modified, making it difficult to tell how it defends against the perturbations. To evaluate the robustness of these denoising strategies intuitively, we directly apply them to defend against adversarial noise itself (assuming we have obtained all of it), which saving us from sacrificing benign accuracy. Surprisingly, our experimental results show that even if most of the perturbations in each dimension is eliminated, it is still difficult to obtain satisfactory robustness. Based on the above findings and analyses, we propose the adaptive compression strategy for different frequency bands in the feature domain to improve the robustness. Our experiment results show that the adaptive compression strategies enable the model to better suppress adversarial perturbations, and improve robustness compared with existing denoising strategies.

연구 동기 및 목표

• 보수적 정확도의 상실 없이, 적대적 노이즈에 직접 적용함으로써 노이즈 제거 기반 방어 전략의 로버스트니를 평가하는 것.
• 공간, 주파수, 잠재 도메인에서 F-IF 프레임워크에 따라 기존의 노이즈 제거 방어를 분류하는 것.
• 효과적인 노이즈 제거에도 불구하고, 현재의 노이즈 제거 전략이 적대적 변형을 억제하는 데 내재된 한계를 규명하는 것.
• 특징 도메인의 서로 다른 주파수 대역에 맞춰 조정된 새로운 적응형 압축 전략을 제안하여 방어의 로버스트니를 향상시키는 것.
• 최소한의 훈련 데이터로도 효율적으로 작동하며, 모델과 공격 유형에 관계없이 적용 가능한 경량의, 모델에 종속되지 않는 방어 메커니즘을 개발하는 것.

제안 방법

• 저자는 기존의 노이즈 제거 방어를 통합하고 분석하기 위해 F-IF 프레임워크(대칭 변환을 통한 노이즈 제거 및 재구성)를 사용한다.
• 청정 이미지와 적대적 예제에 모두 접근 가능하다는 가정 하에, 방어 전략을 전체 적대적 변형 η에 직접 적용하여 평가한다.
• 특징 공간 내 고주파수( HH, HL, LH) 및 저주파수(LL) 대역에 대해 다른 압축 수준을 적용하는 적응형 압축 전략을 제안한다.
• 이 전략을 기반으로 적응형 압축 및 재구성 모델(ACM)을 구축하여 주파수 특성에 따라 적대적 구성 요소를 선택적으로 억제할 수 있도록 한다.
• 이 방법은 오직 수백 장의 보수적 이미지로만 훈련되므로, 기초 분류기나 공격 유형에 관계없이 효율적이고 독립적인 방어가 가능하다.
• 강력한 화이트박스 공격(예: 100회 반복된 PGD) 및 전체 모델 접근 권한이 있는 적응형 공격 시나리오 하에서 로버스트니를 평가한다.

실험 결과

연구 질문

• RQ1 보수적 정확도의 영향 없이, 기존의 노이즈 제거 기반 방어가 적대적 노이즈에 직접 적용되었을 때 얼마나 효과적인가?

주요 결과

• 모든 적대적 노이즈가 직접적으로 이용 가능하고 완전히 노이즈 제거된 상태에서도, 기존의 노이즈 제거 전략은 강력한 PGD 공격 하에서 로버스트 정확도가 0%로 급격히 하락하여 높은 로버스트니를 달성하지 못한다.
• 적응형 압축 전략은 ε=8인 PGD 공격 하에서 65.7%의 로버스트 정확도를 달성하며, 기존의 노이즈 제거 방법들을 크게 능가한다.
• 절단 실험 결과, 일부 주파수 대역에서만 방어를 적용할 경우 성능 저하가 발생하며, 고주파수 대역에 대한 방어를 전혀 적용하지 않을 경우 최대 -23.5%의 성능 저하가 발생한다.
• 모든 주파수 대역(LL, HH, HL, LH)을 동시에 방어할 경우 최고의 성능을 기록하며, 이는 다중 대역 적응형 압축의 必요성을 확인한다.
• 제안된 ACM 모델은 수천 장의 이미지가 필요한 적대적 훈련에 비해 훨씬 적은 훈련 데이터(수백 장)로도 더 높은 로버스트니를 달성하며, 모델 및 공격 유형에 관계없이 적용 가능하다.
• 전체 모델 접근 권한이 있는 적응형 공격 하에서도 ACM은 3.3%의 낮은 공격 성공률(적대적 훈련의 3%와 유사)을 유지하여 강력한 로버스트니를 입증한다.