[논문 리뷰] Security Matters: A Survey on Adversarial Machine Learning

Guofu Li, Pengjia Zhu외 4명|arXiv (Cornell University)|2018. 10. 16.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 27

한 줄 요약

이 종합적 서베이는 딥 뉴럴 네트워크에서의 공격 및 방어 전략에 중점을 두어, 적대적 기계 학습에 대한 종합적인 개요를 제공한다. 특히 이미지 분류 분야에서의 인지 불가능한 왜곡, 물리 세계 공격, 강화 학습 및 안전 중심 시스템에서의 응용을 다루며, 공격자와 방어자 간의 미니맥스 게임을 核심 개념으로 강조한다.

ABSTRACT

Adversarial machine learning is a fast growing research area, which considers the scenarios when machine learning systems may face potential adversarial attackers, who intentionally synthesize input data to make a well-trained model to make mistake. It always involves a defending side, usually a classifier, and an attacking side that aims to cause incorrect output. The earliest studies on the adversarial examples for machine learning algorithms start from the information security area, which considers a much wider varieties of attacking methods. But recent research focus that popularized by the deep learning community places strong emphasis on how the "imperceivable" perturbations on the normal inputs may cause dramatic mistakes by the deep learning with supposed super-human accuracy. This paper serves to give a comprehensive introduction to a range of aspects of the adversarial deep learning topic, including its foundations, typical attacking and defending strategies, and some extended studies.

연구 동기 및 목표

• 적대적 기계 학습에 대한 체계적인 리뷰를 제공하여 기초 개념, 공격 및 방어 기법, 확장된 응용을 포함한다.
• 통계적 의사결정 이론 및 정보 보안 분야에서의 적대적 강건성의 역사를 검토하고, 초기 연구를 현대의 딥 뉴럴 네트워크 과제와 연결한다.
• 딥 뉴럴 네트워크를 속이는 데 핵심적인 역할을 하는 인지 불가능한 왜곡의 역할을 분석하며, 특히 컴퓨터 시각 및 이미지 분류 분야에서의 영향을 다룬다.
• 강화 학습 환경 및 자율 주행 차량과 같은 물리 세계 구현과 같은 복잡한 환경에서의 적대적 공격을 탐구한다.
• 비결정적 아키텍처 및 강건한 모델 설계 분야에서의 열린 과제와 향후 연구 방향을 강조한다.

제안 방법

• 기울기 기반 공격 방법(예: FGSM, PGD), 회피 공격, 오염 공격를 포함한 적대적 공격 방법을 서베이하고 분류한다.
• 적대적 훈련, 입력 전처리, 인증된 강건성 방법을 포함한 방어 메커니즘을 검토한다.
• 강화 학습에서의 전략적 공격을 분석하며, 시간 최적화 및 목표 지향적 적대적 시퀀스를 포함한다.
• 왜곡된 정지 신호나 음성 명령과 같은 물리 세계 적대적 공격을 검토하고, 실제 적용 가능성에 대해 분석한다.
• 생성 모델 및 계획 프레임워크를 통합하여 시간에 걸쳐 에이전트 행동을 조작하는 데 효과적인 적대적 시퀀스를 구성한다.
• DeepXplore와 같은 시뮬레이션 플랫폼을 통해 적대적 학습을 활용해 자율 주행 시스템을 테스트함으로써 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 청결한 데이터에서 높은 정확도를 보이는 딥 뉴럴 네트워크에서도, 디지털 입력에서 인지 불가능한 왜곡이 어떻게 분류 오류를 유도할 수 있는가?
• RQ2 디지털 공격과 물리 세계 공격 간의 주요 차이점은 무엇이며, 왜 물리 세계 공격이 더 어려운가?
• RQ3 강화 학습 환경에서 적대적 공격를 전략적으로 시간 조절하거나 대상으로 설정하면, 장기적인 의사결정 정책을 어떻게 조작할 수 있는가?
• RQ4 훈련 단계에서의 오염 공격가 머신 러닝 모델의 강건성에 어떤 영향을 미치며, 악성 소프트웨어 탐지와 같은 민감한 분야에서 특히 어떤 문제가 발생하는가?
• RQ5 적대적 기계 학습이 자율 주행 차량 및 항공 교통 관제와 같은 안전 중심 시스템에 어떤 영향을 미치는가?

주요 결과

• 근본적으로 인지 불가능한 왜곡을 최소한으로 사용하여도, 거의 초인 수준의 정확도를 보이는 모델의 예측을 근본적으로 뒤바꿀 수 있는 적대적 예제를 생성할 수 있다.
• 왜곡된 정지 신호나 음성 명령과 같은 물리 세계 적대적 공격는 실제 시나리오에서 성공적으로 구현되었으며, 구현된 시스템의 강건성에 도전하고 있다.
• 강화 학습 환경에서 전략적으로 시간 조절된 공격 및 유혹적인 공격는 시간에 걸쳐 적대적 입력 시퀀스를 생성함으로써 에이전트가 특정 목표 상태에 도달하도록 조작할 수 있다.
• 순차적 의사결정 작업에서 효과적인 적대적 시퀀스를 생성하기 위해 생성 모델 및 계획 프레임워크가 필수적이다.
• 현재의 적대적 연구는 주로 컨volutional 네트워크와 이미지 분류에 집중되어 있으며, 비컨볼루션 아키텍처에 대한 탐색은 제한적이다.
• 적대적 학습 프레임워크는 동일한 미니맥스 게임 구조를 활용하는 Generative Adversarial Networks(GANs)와 같은 영향력 있는 혁신을 이끌어냈다.