[논문 리뷰] Taking Care of The Discretization Problem: A Comprehensive Study of the Discretization Problem and A Black-Box Adversarial Attack in Discrete Integer Domain

Lei Bu, Yuchao Duan외 2명|arXiv (Cornell University)|2019. 05. 19.

Adversarial Robustness in Machine Learning참고 문헌 100인용 수 4

한 줄 요약

이 논문은 기존 공격에서 흔한 이산화 문제를 피하기 위해 직접 이산 정수 도메인에서 적대적 예제를 생성하는 새로운 블랙박스 적대적 공격 방법을 제안한다. 분류 모델 기반 DFO 알고리즘을 사용해 유도 없는 최적화(DFO) 문제로 공격를 공식화함으로써, 타겟 공격 및 비타겟 공격 모두에서 거의 100%의 성공률을 달성하며, 최신 블랙박스 방법들을 능가하고 NIPS 2017 방어 경쟁 우승자도 100% 성공률로 뛰어넘었다.

ABSTRACT

Numerous methods for crafting adversarial examples were proposed recently with high success rate. Since most existing machine learning based classifiers normalize images into some continuous, real vector, domain firstly, attacks often craft adversarial examples in such domain. However, "adversarial" examples may become benign after denormalizing them back into the discrete integer domain, known as the discretization problem. This problem was mentioned in some work, but has received relatively little attention. In this work, we first conduct a comprehensive study of existing methods and tools for crafting. We theoretically analyze 34 representative methods and empirically study 20 representative open source tools for crafting adversarial images. Our study reveals that the discretization problem is far more serious than originally thought. This suggests that the discretization problem should be taken into account seriously when crafting adversarial examples and measuring attack success rate. As a first step towards addressing this problem in black-box scenario, we propose a black-box method which reduces the adversarial example searching problem to a derivative-free optimization problem. Our method is able to craft adversarial images by derivative-free search in the discrete integer domain. Experimental results show that our method is comparable to recent white-box methods (e.g., FGSM, BIM and C\&W) and achieves significantly higher success rate in terms of adversarial examples in the discrete integer domain than recent black-box methods (e.g., ZOO, NES-PGD and Bandits). Moreover, our method is able to handle models that is non-differentiable and successfully break the winner of NIPS 2017 competition on defense with 95\% success rate. Our results suggest that discrete optimization algorithms open up a promising area of research into effective black-box attacks.

연구 동기 및 목표

• 기존 적대적 공격 방법과 도구에 미치는 이산화 문제의 영향을 체계적으로 조사하기 위해.
• 실제 운영 환경에서 이산화 문제가 공격 성공률을 심각하게 떨어뜨린다는 것을 입증하기 위해.
• 이산 정수 도메인에서 직접 작동하는 블랙박스 적대적 공격 방법을 개발하여 이산화 문제를 피하기 위해.
• 기울기 기반 방법이 실패하는 비미분 가능하거나 알 수 없는 모델에 대해서도 화이트박스 방법과 비교할 만한 높은 공격 성공률를 달성하기 위해.
• 강력한 방어 모델, 특히 NIPS 2017 방어 경쟁 우승자에 대한 방법의 효과성을 검증하기 위해.

제안 방법

• 공격를 기울기 의존성이 없는 유도 없는 최적화(DFO) 문제로 공식화함으로써 기울기 의존성을 피함.
• 이산 정수 공간 내에서의 탐색을 이끄는 분류 모델 기반 DFO 알고리즘을 제안함.
• 원본 이미지 도메인(예: 0–255 정수 픽셀 값)에서 직접 적대적 예제를 제작함으로써 연속 도메인으로의 정규화를 회피함.
• 질의 응답(클래스 확률)으로부터 학습하여 기울기 정보 없이도 반복적으로 적대적 예제를 향상시키는 알고리즘.
• 기울기 기반 방법이 실패하는 비미분 가능하거나 블랙박스 모델에 효과적으로 작용하도록 설계됨.
• DFA(이산 정수 도메인 공격)라는 도구로 구현되었으며, 타겟 공격 및 비타겟 공격을 모두 지원함.

실험 결과

연구 질문

• RQ1 실제로 기존 적대적 공격 방법의 성공률가 이산화 문제로 얼마나 떨어지는가?
• RQ2 이산 정수 도메인에서 직접 효과적으로 공격를 공식화하고 실행할 수 있는가?
• RQ3 분류 모델 기반 유도 없는 최적화 접근 방식이 기울기 기반 또는 기타 블랙박스 방법과 비교해 성공률 및 질의 효율성 측면에서 어떻게 성과를 내는가?
• RQ4 이러한 방법이 최신 방어 기법, 특히 주요 경쟁에서 우승한 방어 기법을 성공적으로 뚫을 수 있는가?
• RQ5 이산 도메인에서 작동할 경우 공격 성공률, 미시민성, 질의 효율성 간의 상충 관계는 어떠한가?

주요 결과

• 35개 이론적 공격 방법 중 29개와 20개 오픈소스 도구 중 14개가 이산화 문제로 심각하게 영향을 받았으며, 성공률가 100%에서 최소 10%까지 떨어짐.
• 제안된 DFA 방법은 ImageNet과 MNIST에서 타겟 공격 및 비타겟 공격 모두 100% 성공률를 달성하여 FGSM, BIM, C&W와 같은 화이트박스 방법의 성능과 동일함.
• DFA는 평가된 모든 블랙박스 방법(ZOO, AutoZOOM, NES-PGD, Bandits, FD, FD-PSO, GenAttack)보다 성공률 및 질의 효율성 측면에서 뛰어남.
• HGD 방어 모델, 즉 NIPS 2017 방어 경쟁 우승자도 100% 타겟 공격 성공률로 성공적으로 뚫음.
• MNIST 적대적 예제 챌린지에서 DFA는 10.5%의 타겟 공격 성공률를 기록하며, 공개된 최고의 화이트박스 공격와 동일한 성능 달성.
• MSE 값이 다른 선도적 방법들과 비교해 유사하거나 더 우수하여 높은 미시민성을 유지함. 특히 Inception-v3에서 두드러진 성능을 보임.