[논문 리뷰] BUZz: BUffer Zones for defending adversarial examples in image classification

Kaleel Mahmood, Phuong Ha Nguyen외 3명|arXiv (Cornell University)|2019. 10. 03.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 4

한 줄 요약

이 논문은 버퍼 존—클래스 간 영역으로, 입력이 이 영역에 속하면 악성 예측으로 간주되는 방식을 사용해 기울기 기반 악성 예측 공격에 대비하는 새로운 방어 기법 BUZz를 제안한다. 깊이 있는 신경망과 간단한 이미지 변환을 조합함으로써, CIFAR-10과 Fashion-MNIST에서 공격 성공률가 11% 미만에 머무르며 순수 정확도가 11~18% 감소하는 등 기존 최고 수준의 방어 기법들을 능가한다. 이는 보안성과 정확도를 균형 잡는 데 새로운 지표를 도입함으로써 달성된다.

ABSTRACT

We propose a novel defense against all existing gradient based adversarial attacks on deep neural networks for image classification problems. Our defense is based on a combination of deep neural networks and simple image transformations. While straightforward in implementation, this defense yields a unique security property which we term buffer zones. We argue that our defense based on buffer zones offers significant improvements over state-of-the-art defenses. We are able to achieve this improvement even when the adversary has access to the {\em entire} original training data set and unlimited query access to the defense. We verify our claim through experimentation using Fashion-MNIST and CIFAR-10: We demonstrate $<11\%$ attack success rate -- significantly lower than what other well-known state-of-the-art defenses offer -- at only a price of a $11-18\%$ drop in clean accuracy. By using a new intuitive metric, we explain why this trade-off offers a significant improvement over prior work.

연구 동기 및 목표

• 작은, 인지하기 어려운 변형이 악성 예측 예제를 생성하는 딥 뉴럴 네트워크의 취약성을 해결하기 위해.
• 공격 성공률를 크게 낮추면서도 높은 순수 정확도를 유지하는 방어 기법을 개발하기 위해.
• 버퍼 존 개념을 통해 보안(낮은 공격 성공률)과 순수 정확도 사이의 조절 가능한 트레이드오프를 도입하기 위해.
• 학습 데이터와 쿼리 기능에 완전한 액세스 권한을 가진 강력한 블랙박스 공격 환경에서 방어 기법을 평가하기 위해.
• 방어 기반 강건성과 순수 정확도의 균형을 정량적으로 캡처하는 데 새로운 지표 δ를 제안하기 위해.

제안 방법

• 방어 기법은 결정 경계 사이의 영역인 버퍼 존을 사용하며, 입력이 이 영역에 속하면 악성 예측으로 간주된다.
• 딥 뉴럴 네트워크를 사용해 입력을 분류하고, 샘플이 버퍼 존 내에 있는지 여부를 임계값 기반 메커니즘으로 감지한다.
• 분류 이전에 입력에 이미지 변환을 적용하여 강건성을 향상시키고 자연스러운 버퍼 존을 생성한다.
• 버퍼 존 메커니즘은 악성 예측 성공을 위해 필요한 변형 크기를 증가시켜 표준 ε 제약 조건 하에서 공격를 불가능하게 만든다.
• 보안-정확도 트레이드오프를 조절하기 위해 여러 구성(BUZz2, BUZz4, BUZz8)과 임계값 변형(BT70, BT95, BT99)을 사용해 방어 기법을 구현한다.
• 방어 기법 성능 평가를 위해 새로운 지표 δ = γ + (p − γ)α 가 도입되며, 이는 순수 정확도 감소(γ)와 공격 성공률(α)을 통합한다.

실험 결과

연구 질문

• RQ1 기존 방법보다 공격 성공률를 크게 낮추면서도 높은 순수 정확도를 유지하는 방어 기법을 설계할 수 있는가?
• RQ2 버퍼 존의 도입이 블랙박스 악성 예측 환경에서 강건성과 순수 정확도 사이의 조절 가능한 트레이드오프를 가능하게 하는가?
• RQ3 적대자가 무제한 쿼리 액세스와 학습 데이터에 완전한 액세스 권한을 가진다 해도 제안된 방어 기법이 여전히 효과를 발휘할 수 있는가?
• RQ4 기존 평가 지표와 비교해 새로운 지표 δ는 보안성과 정확도 사이의 진정된 트레이드오프를 얼마나 잘 캡처하는가?
• RQ5 딥 뉴럴 네트워크와 결합된 이미지 변환 기법이 버퍼 존 형성으로 인해 강건성을 얼마나 향상시키는가?

주요 결과

• BUZz는 타겟되지 않은 블랙박스 공격 하에서 CIFAR-10과 Fashion-MNIST에서 모두 공격 성공률가 11% 미만을 기록하며, 기존 최고 수준의 방어 기법보다 현저히 낮다.
• CIFAR-10에서 순수 정확도는 76–94%를 유지하며, 원본 모델 대비 정확도 감소가 11–18%에 그친다.
• BUZz2 구성은 CIFAR-10에서 타겟 공격 시 δ = 0.16, 비타겟 공격 시 δ = 0.22를 기록하며, 비교된 모든 방어 기법들보다 뛰어난 성능을 보인다.
• 임계값 기반 변형(BT70, BT95, BT99)과 다중 네트워크 구성(BUZz2, BUZz4, BUZz8)을 통해 사용자가 보안-정확도 트레이드오프를 효과적으로 조절할 수 있다.
• 제안된 δ 지표는 BUZz가 이전 방어 기법들보다 강건성과 순수 정확도 사이의 균형을 더 우수하게 달성하고 있음을 드러내며, 모든 구성에서 낮은 δ 값을 기록한다.
• 강력한 혼합 블랙박스 공격(C&W, EAD 등) 조건에서도 BUZz는 타겟되지 않은 설정에서는 공격 성공률가 10% 이하로 유지되며, 타겟 공격 설정에서는 방어 기법이 매우 정교하게 튜닝된 경우에만 near 100%의 공격 성공률를 기록한다.