[논문 리뷰] Adversarial Examples: Attacks and Defenses for Deep Learning

Xiaoyong Yuan, Pan He외 2명|arXiv (Cornell University)|2017. 12. 19.

Adversarial Robustness in Machine Learning참고 문헌 133인용 수 222

한 줄 요약

이 설문은 딥 러닝의 적대적 예에 대해 리뷰하고, 공격 방법의 분류 체계를 제시하며, 응용 및 방어를 조사하고, 주요 도전 과제와 향후 방향을 개략한다.

ABSTRACT

With rapid progress and significant successes in a wide spectrum of applications, deep learning is being applied in many safety-critical environments. However, deep neural networks have been recently found vulnerable to well-designed input samples, called adversarial examples. Adversarial examples are imperceptible to human but can easily fool deep neural networks in the testing/deploying stage. The vulnerability to adversarial examples becomes one of the major risks for applying deep neural networks in safety-critical environments. Therefore, attacks and defenses on adversarial examples draw great attention. In this paper, we review recent findings on adversarial examples for deep neural networks, summarize the methods for generating adversarial examples, and propose a taxonomy of these methods. Under the taxonomy, applications for adversarial examples are investigated. We further elaborate on countermeasures for adversarial examples and explore the challenges and the potential solutions.

연구 동기 및 목표

• 딥 러닝에서 적대적 예를 생성하는 접근법을 체계적으로 분석한다.
• 위협 모델, 교란, 벤치마크를 기반으로 한 공격 방법의 분류 체계를 제안한다.
• 적대적 예의 다양한 도메인 적용을 조사하고 대응책을 논의한다.
• 적대적 예의 로버스트성과 전이성에 대한 주요 과제를 식별하고 잠재적 해결책을 제안한다.

제안 방법

• 위협 모델, 교란, 벤치마크의 세 축에 따른 적대적 공격 방법의 분류 체계.
• L-BFGS, FGSM, BIM, JSMA, DeepFool, CPPN EA, C&W 공격 등 대표적 공격 기법에 대한 고찰.
• 지각적 고려를 반영한 교란 유형(개별 vs 보편)과 노름(l0, l1, l2, l∞)의 논의.
• 화이트박스 vs 블랙박스, 표적화된 vs 비표적화된, 일회성 vs 반복적 공격 등 위협 모델의 분석.
• 표준 데이터셋(MNIST, CIFAR-10, ImageNet) 및 일반적 피해자 모델을 통한 평가 고려사항.
• 강건성 및 전이성 평가의 문제점과 대응책에 대한 개요를 제시한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크를 상대로 적대적 예를 생성하는 지배적인 공격 전략은 무엇인가?
• RQ2 비교 및 방어 설계를 돕기 위해 적대적 공격을 어떻게 분류해야 하는가?
• RQ3 가장 효과적인 방어책은 무엇이며 어떤 위협 모델에서 실패하는가?
• RQ4 적대적 예의 강건성 평가와 전이성에서의 주요 도전 과제는 무엇이며 이를 해결할 방향은 무엇인가?

주요 결과

• 적대적 예는 인간이 인지하기 어려운 교란으로도 다양한 작업과 모델에서 심층 네트워크를 오도할 수 있다.
• 정형화된 분류 체계는 공격을 비교하고 위협 모델, 교란, 벤치마크 간의 방어 설계에 정보를 제공한다.
• 다수의 공격 방법들(L-BFGS, FGSM, BIM, JSMA, DeepFool, C&W)은 교란 크기와 성공률 간의 다양한 트레이드오프를 보여준다.
• 화이트박스와 블랙박스 간의 전이성에 의지한 전이는 실세계 서비스의 보안에 영향을 미치며, 전이성의 중요성을 강조한다.
• 적응적 공격으로 방어책이 우회될 수 있어 강건한 평가 프레임워크와 지속적인 연구가 필요하다.
• 전이성 존재 여부, 적대적 예의 존재 여부, 강건한 평가 메트릭스 등 주요 개방 과제가 확인된다.