[논문 리뷰] Adversarial Examples in Modern Machine Learning: A Review

Rey Reza Wiyatno, Anqi Xu외 2명|arXiv (Cornell University)|2019. 11. 13.

Adversarial Robustness in Machine Learning참고 문헌 235인용 수 50

한 줄 요약

컴퓨터 비전에서의 적대적 예시(Adversarial Examples) 에 대한 포괄적 고찰로, 공격 방법, 방어책, 전이성, 그리고 실제 세계 고려사항을 상세히 설명한다. 모델이 왜 취약한지와 공격과 방어가 어떻게 진화하는지 설명한다.

ABSTRACT

Recent research has found that many families of machine learning models are vulnerable to adversarial examples: inputs that are specifically designed to cause the target model to produce erroneous outputs. In this survey, we focus on machine learning models in the visual domain, where methods for generating and detecting such examples have been most extensively studied. We explore a variety of adversarial attack methods that apply to image-space content, real world adversarial attacks, adversarial defenses, and the transferability property of adversarial examples. We also discuss strengths and weaknesses of various methods of adversarial attack and defense. Our aim is to provide an extensive coverage of the field, furnishing the reader with an intuitive understanding of the mechanics of adversarial attack and defense mechanisms and enlarging the community of researchers studying this fundamental set of problems.

연구 동기 및 목표

• 시각 과제에 대한 지도학습에서의 적대적 예시 현황을 요약한다.
• 직관적 메커니즘을 갖춘 공격 및 방어 방법의 계통 분류를 제시한다.
• 적대적 위협의 실세계 및 전이성 측면을 강조한다.

제안 방법

• 타깃 설정과 비타깃 설정 전반에 걸친 적대적 공격 방법의 조사 및 계통 분류(whitebox 및 blackbox).
• 방어책과 그 취약성에 대한 논의, gradient masking 및 robustness challenges를 포함.
• 실세계 적대적 시나리오(물리적 및 비물리적)의 설명과 시사점.
• 전이성(transferability) 특성 및 이를 좌우하는 요인에 대한 논의.

실험 결과

연구 질문

• RQ1 컴퓨터 비전 모델에서의 적대적 공격의 주요 범주와 메커니즘은 무엇인가?
• RQ2 적대적 공격에 대해 제안된 방어책은 무엇이며, 어디에서 실패하는가(예: gradient masking)?
• RQ3 모델과 데이터세트 전반에서의 transferability는 어떻게 나타나며, 그것에 영향을 주는 요인은 무엇인가?
• RQ4 적대적 위협에 대한 실질적인 실세계 고려사항(물리적 세계 공격) 은 무엇인가?

주요 결과

• 적대적 예시는 현대 시각 모델의 강건성 격차를 드러내며, 지각적으로 유사하지만 잘못 분류되도록 구성될 수 있다.
• 그레이디언트 기반, 최적화 기반, 블랙박스 접근법을 포함한 다양한 공격 방법이 존재하며, 강점과 전이성의 차이가 있다.
• 방어책은 종종 gradient masking 또는 gradient obfuscation에 의존하는데, 이는 새로운 공격 전략에 의해 회피될 수 있으며, 강건한 해결책은 여전히 도전적이다.
• 같은 데이터로 학습된 모델 간의 적대적 예시의 전이성이 관측되며, 공유된 취약점을 시사한다.
• 실세계 적대적 시나리오(예: 인쇄된 물리적 패치) 는 디지털 입력을 넘어 실용적 위협을 제기한다.