[논문 리뷰] A Survey of Black-Box Adversarial Attacks on Computer Vision Models

Siddhant Bhambri, Sumanyu Muku외 2명|arXiv (Cornell University)|2019. 12. 03.

Adversarial Robustness in Machine Learning참고 문헌 81인용 수 23

한 줄 요약

이 종합적 서베이는 컴퓨터 비전 분야의 블랙박스 적대적 공격 및 방어 기법에 대한 체계적인 비교 분석을 제공하며, 공격 방법을 쿼리 효율성, 변형 유형, 위협 모델로 분류한다. 쿼리 효율성이 높은 공격 기법들인 ZOO 및 밴딧 방법은 최소한의 쿼리로도 높은 성공률를 기록하는 반면, 픽셀 방향 전환 및 무작위화와 같은 방어 기법들은 ImageNet에서 뛰어난 일반화 및 강건성을 보이며, 대부분의 방어 기법은 적응형 공격에 취약하다는 점을 확인한다.

ABSTRACT

Machine learning has seen tremendous advances in the past few years, which has lead to deep learning models being deployed in varied applications of day-to-day life. Attacks on such models using perturbations, particularly in real-life scenarios, pose a severe challenge to their applicability, pushing research into the direction which aims to enhance the robustness of these models. After the introduction of these perturbations by Szegedy et al. [1], significant amount of research has focused on the reliability of such models, primarily in two aspects - white-box, where the adversary has access to the targeted model and related parameters; and the black-box, which resembles a real-life scenario with the adversary having almost no knowledge of the model to be attacked. To provide a comprehensive security cover, it is essential to identify, study, and build defenses against such attacks. Hence, in this paper, we propose to present a comprehensive comparative study of various black-box adversarial attacks and defense techniques.

연구 동기 및 목표

• 컴퓨터 비전 분야의 블랙박스 적대적 공격에 대한 체계적인 분류 체계를 제공하여 화이트박스 위협과의 차이를 명확히 하기.
• 쿼리 효율성, 변형 유형, 위협 모델 제약 조건을 기반으로 다양한 블랙박스 공격 전략의 효과성을 분석하고 비교하기.
• MNIST, CIFAR-10, ImageNet 등의 데이터셋에서의 일반화, 정확도 유지 및 강건성 측면에서 기존 방어 기법을 평가하기.
• 대부분의 방어 기법이 화이트박스 공격에 대해서만 테스트되며 실제 블랙박스 환경에서는 평가되지 않는 방어 평가의 격차를 드러내기.
• 비강건 특징 탐지 및 적대적 오분류를 위한 타겟 공격 기반의 향후 연구 방향 도출하기.

제안 방법

• 쿼리 기반, 기울기 추정, 전이 기반 방법으로 블랙박스 공격을 분류하며, 쿼리 효율성과 변형 제약 조건에 중점을 둔다.
• 위협 모델 구성 요소를 기반으로 공격을 분류: 공격자의 목표(예: 타겟 공격, 무결성 유지) 및 능력(예: 쿼리 제한, 모델 접근 권한).
• 공격 성공률, 방어 유무에 따른 분류 정확도, 다양한 변형 노름(L2, Linf) 하에서의 강건성 등 지표를 사용해 방어 기법을 평가한다.
• MNIST, CIFAR-10, ImageNet 데이터셋에서 적대적 훈련, 딜리게이션, MagNet, 픽셀 방향 전환, 무작위화 등의 방어 방법을 비교한다.
• 표준화된 벤치마크를 활용: 고정된 초모수(예: ϵ=8 for Linf, ϵ=0.03 for L2)를 사용한 FGSM, PGD, C&W, DeepFool, JSMA 공격을 통해 공정한 비교를 수행한다.
• 공격 성공률 및 정확도 감소를 사용해 성능을 분석하며, 자료는 인용된 논문들(예: Xu, Guo, Prakash, Xie 등)의 발표 결과에서 유래한다.

실험 결과

연구 질문

• RQ1 표준 데이터셋에서 다양한 블랙박스 공격 전략은 쿼리 효율성과 공격 성공률 측면에서 어떻게 비교될 수 있는가?
• RQ2 적대적 훈련, 딜리게이션, 픽셀 방향 전환과 같은 방어 기법은 다양한 블랙박스 공격 유형에 대해 상대적으로 얼마나 강건한가?
• RQ3 다양한 블랙박스 공격 유형에 대해 대부분의 기존 방어 기법은 화이트박스 성능는 뛰어나지만 실제 블랙박스 위협 모델에서는 실패하는 이유는 무엇인가?
• RQ4 어느 정도의 정확도 유지가 이루어지며, 동시에 적대적 변형에 대한 강건성이 향상되는가?
• RQ5 비강건 특징를 체계적으로 식별하고 이를 활용해 더 효율적이거나 침투성이 높은 블랙박스 공격을 설계할 수 있는가?

주요 결과

• Prakash 등이 제안한 픽셀 방향 전환은 방어 없이 100% 분류 정확도를 기록했으며, CIFAR-10에서 공격 성공률는 9.7%로 높은 일반화 및 강건성을 입증했다.
• ImageNet에서는 모든 방어 기법에 대해 평균 공격 성공률가 MNIST나 CIFAR-10보다 뚜렷이 높아, 대규모 데이터셋에서의 더 큰 취약성을 시사한다.
• MagNet 및 Xu의 중앙값 스무딩은 CIFAR-10에서 FGSM 및 I-FGSM에 대해 공격 성공률를 0%로 감소시켰지만, 특정 변형 노름 조건에서만 성립했다.
• Xie 등(2018)의 방어 기법은 방어 없이 98.9% 정확도를 기록했고, FGSM에 대해 18.5%의 공격 성공률를 기록하여 정확도와 강건성의 균형을 잘 유지했다.
• 대부분의 방어 기법은 적응형 블랙박스 공격에 대해 성능 저하를 보이며, 실제 적용 가능성에 대한 심각한 격차를 드러냈다.
• 본 연구는 현재 대부분의 방어 기법이 화이트박스 공격에 대해서만 평가되고 있으며, 향후 연구에서는 더 철저한 블랙박스 평가가 필요하다고 지적한다.