[논문 리뷰] A Survey on Resilient Machine Learning

Atul Kumar, Sameep Mehta|arXiv (Cornell University)|2017. 07. 11.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 14

한 줄 요약

이 종합적 리뷰는 기계 학습 시스템의 적대적 취약성을 데이터 수집, 훈련, 구현 단계 전반에 걸쳐 포괄적으로 분석한다. 공격 및 방어의 체계적 분류 체계를 제안하며, 강건한 모델 설계와 위협 인지 훈련을 통한 내성 강화를 강조한다. 주요 기여는 공격 표면을 통합하고 향후 안전한 기계 학습 개발을 이끌어내는 데 있다.

ABSTRACT

Machine learning based system are increasingly being used for sensitive tasks such as security surveillance, guiding autonomous vehicle, taking investment decisions, detecting and blocking network intrusion and malware etc. However, recent research has shown that machine learning models are venerable to attacks by adversaries at all phases of machine learning (eg, training data collection, training, operation). All model classes of machine learning systems can be misled by providing carefully crafted inputs making them wrongly classify inputs. Maliciously created input samples can affect the learning process of a ML system by either slowing down the learning process, or affecting the performance of the learned mode, or causing the system make error(s) only in attacker's planned scenario. Because of these developments, understanding security of machine learning algorithms and systems is emerging as an important research area among computer security and machine learning researchers and practitioners. We present a survey of this emerging area in machine learning.

연구 동기 및 목표

• 기계 학습 생명주기 전반에 걸쳐 기계 학습 시스템을 대상으로 하는 적대적 위협을 식별하고 분류하는 것.
• 모델 훈련, 추론, 데이터 수집 단계의 취약점을 분석하여 악성 조작을 가능하게 하는 요소를 규명하는 것.
• 기존의 방어 전략을 통합하고 내성적인 기계 학습 연구의 격차를 부각하는 것.
• 실제 기계 학습 구현 환경에서 적대적 위험을 이해하고 완화하기 위한 통합 프레임워크를 제공하는 것.

제안 방법

• 지도 학습, 비지도 학습, 강화 학습 전반에 걸쳐 적대적 예외, 데이터 오염, 모델 회피 공격에 대한 체계적 검토.
• 위협 모델, 공격 표면, 적대적 목표(예: 잘못 분류) 기반으로 공격를 분류.
• 입력 전처리, 강건한 훈련, 인증 기반 접근법으로 나누어 방어 기법을 분류.
• 방어 전략에서 모델 정확도, 강건성, 계산 오버헤드 간의 상충 관계 분석.
• 자율 주행 차량 및 침입 탐지 시스템과 같은 기계 학습 보안이 핵심적인 실제 응용 사례 조사.
• 내성적인 기계 학습 시스템을 구축하기 위한 열린 과제와 향후 연구 방향 통합.

실험 결과

연구 질문

• RQ1 데이터 수집, 훈련, 추론 단계에서 기계 학습 시스템을 대상으로 하는 주요 공격 벡터는 무엇인가?
• RQ2 적대적 예외는 데이터 분포를 변경하지 않고 어떻게 모델 행동을 조작할 수 있는가?
• RQ3 회피 공격, 데이터 오염 공격, 모델 추출 공격에 효과적인 방어 기법은 무엇인가?
• RQ4 강건성과 정확도 간의 상충 관계는 내성적인 기계 학습 모델의 구현에 어떻게 영향을 미치는가?
• RQ5 기계 학습 시스템에서 종단 간 내성 강화를 달성하기 위한 핵심 열린 과제는 무엇인가?

주요 결과

• 적대적 공격는 딥 네ural 네트워크와 전통적 분류기 등 모든 기계 학습 파라다임에서 모델을 오도하는 데 성공할 수 있다.
• 입력에 작은, 눈에 띄지 않는 변형을 가해도 최신 모델에서 높은 신뢰도의 잘못 분류를 유도할 수 있다.
• 적대적 훈련과 입력 전처리와 같은 방어 조치는 강건성을 향상시키지만, 일반 데이터에 대한 정확도가 감소하는 비용을 지ays다.
• 데이터 오염 공격는 모델 성능을 떨어뜨리거나 특정 트리거가 작동할 때 작동하는 백도어를 삽입할 수 있다.
• 모델 역추출 및 멤버십 추론 공격는 민감한 훈련 데이터를 폭 드러내어 정확도를 넘어서는 개인정보 위험을 드러낸다.
• 통합된 위협 모델과 방어 분류 체계는 향후 연구 및 안전한 기계 학습 시스템의 구현을 이끌기 위해 필수적이다.