[논문 리뷰] Wild Patterns Reloaded: A Survey of Machine Learning Security against Training Data Poisoning

Antonio Emanuele Ciná, Kathrin Grosse외 8명|arXiv (Cornell University)|2022. 05. 04.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 종합 검토는 컴퓨터 비전 및 기타 모odalities에서의 학습 데이터 풀링 공격과 방어에 대해 100편 이상의 논문을 체계적으로 분류하여 기계학습 보안에 대한 종합적인 체계화를 제공한다. 이 논문은 풀링 공격을 위한 통합 이중선형 프로그래밍 프레임워크를 도입하고, 위협 모델, 방어 기법, 열린 과제를 검토하며, 다양한 공격 유형에 대응하는 기계학습 시스템 보안의 핵심 상충관계와 불가능성 결과를 강조한다.

ABSTRACT

The success of machine learning is fueled by the increasing availability of computing power and large training datasets. The training data is used to learn new models or update existing ones, assuming that it is sufficiently representative of the data that will be encountered at test time. This assumption is challenged by the threat of poisoning, an attack that manipulates the training data to compromise the model's performance at test time. Although poisoning has been acknowledged as a relevant threat in industry applications, and a variety of different attacks and defenses have been proposed so far, a complete systematization and critical review of the field is still missing. In this survey, we provide a comprehensive systematization of poisoning attacks and defenses in machine learning, reviewing more than 100 papers published in the field in the last 15 years. We start by categorizing the current threat models and attacks, and then organize existing defenses accordingly. While we focus mostly on computer-vision applications, we argue that our systematization also encompasses state-of-the-art attacks and defenses for other data modalities. Finally, we discuss existing resources for research in poisoning, and shed light on the current limitations and open research questions in this research field.

연구 동기 및 목표

• 최근 15년간의 100편 이상의 논문을 포함하여 기계학습 보안 분야에서의 학습 데이터 풀링 공격에 대한 최신 기술을 체계화하고 비판적으로 검토하는 것.
• 풀링 공격을 무차별적, 표적 지향적, 백도어 유형으로 분류하고, 각각에 대응하는 위협 모델과 방어 기법을 정렬하는 것.
• 이중선형 프로그래밍을 활용한 통합 공식화를 통해 풀링 공격를 형식적으로 모델링하고, 공격 및 방어 메커니즘의 원칙적인 분석을 가능하게 하는 것.
• 상충관계, 불가능성 결과, 그리고 풀링 공격과 기타 기계학습 위협(예: 회피 공격 및 개인정보 泄露) 간의 상호작용을 포함한 열린 연구 과제를 식별하고 논의하는 것.
• 재현 가능한 평가를 지원하기 위해 데이터셋, 소프트웨어 라이브러리, 벤치마킹 도구를 포함한 주요 연구 자원을 정리하고 강조하는 것.

제안 방법

• 기계학습 분야의 데이터 풀링 공격에 관한 100편 이상의 연구를 포함하는 포괄적인 문헌 검토를 수행한다. 대상 분야로는 컴퓨터 비전, 자연어 처리(NLP), 음성 및 기타 모달리티가 포함된다.
• 공격자가 테스트 시점의 모델 성능을 악화시키기 위해 학습 데이터를 최적화하는 방식으로 풀링 공격를 모델링하기 위해 이중선형 최적화 기반의 형식적 프레임워크를 도입한다.
• 저자들은 풀링 공격를 세 가지 주요 유형으로 분류한다: 무차별적(전반적인 오차 최대화), 표적 지향적(특정 입력에 집중), 백도어(오염된 샘플에 트리거 삽입).
• 공격 유형에 대응하는 방어 기법을 체계적으로 정리하며, 감지 기반, 강건한 학습, 데이터 정제 방법 등이 포함된다.
• 다양한 공격 유형에 걸쳐 방어 기법의 강건성을 평가하고, 특정 공격에 과적합되거나 일반화 능력이 떨어지는 등의 한계를 부각시킨다.
• 최근 연구들의 경험적 및 이론적 통찰을 바탕으로, 풀링 공격와 다른 기계학습 위협(예: 회피 공격 및 개인정보 泄露) 간의 상호작용을 추가로 분석한다.

실험 결과

연구 질문

• RQ1 기계학습에서 데이터 풀링 공격의 주요 유형은 무엇이며, 목적과 기작에서 어떻게 상이한가?
• RQ2 이중선형 최적화를 통해 풀링 공격를 어떻게 형식적으로 모델링하고 분석할 수 있으며, 이 프레임워크는 어떤 통찰을 제공하는가?
• RQ3 기존 방어 기법의 주요 한계와 상충관계는 무엇이며, 일부 방어 기법이 다중 또는 적응형 공격에 실패하는 이유는 무엇인가?
• RQ4 풀링 공격는 기계학습 시스템에서 회피 공격 및 개인정보 泄露와 어떻게 상호작용하는가?
• RQ5 실제 구현 환경에서 기계학습 모델을 데이터 풀링 공격로부터 보호하기 위해 남아있는 열린 연구 과제와 향후 방향성은 무엇인가?

주요 결과

• 이 검토는 백도어, 표적 지향적, 무차별적 풀링이 세 가지 주요 공격 유형임을 규명하였으며, 각각 다른 목적과 위협 모델을 가진다.
• 많은 방어 기법이 특정 공격 유형에 과적합되어 있어, 다중 또는 적응형 공격에 직면했을 때 일반화 능력이 떨어지고 강건성이 떨어지는 경향이 있다.
• 불가능성 결과가 존재한다: 예를 들어, 데이터의 일부분만을 대상으로 하는 일부 공격 유형에 대해서는 이론적으로 방어가 불가능하다.
• 풀링과 회피 공격 간의 강한 상호작용이 존재한다: 높은 백도어 정확도는 종종 회피 공격 성공률를 감소시키며, 반대로도 마찬가지다.
• 풀링 공격는 개인정보 보호 방어 기법을 약화시킬 수 있다. 예를 들어, 모델의 인증된 강건성 반경을 감소시킬 수 있다.
• 이 검토는 실무에서의 상호작용 증거가 증가하고 있음에도 불구하고, 풀링, 회피, 개인정보 보호를 통합적으로 다루는 분야 간 융합 연구는 아직 제한되어 있음을 강조한다.