[논문 리뷰] Poisoning the Unlabeled Dataset of Semi-Supervised Learning

Nicholas Carlini|arXiv (Cornell University)|2021. 01. 01.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 준지도 학습 모델이 레이블이 지정되지 않은 데이터셋을 대상으로 하는 데이터 풀링 공격에 취약하다는 점을 드러낸다. 레이블이 지정되지 않은 예시 중 단지 0.1%만 악성으로 조작되어도, 모델이 어떤 테스트 입력이라도 원하는 레이블로 잘못 분류하게 만들 수 있다. 이 공격은 여러 데이터셋과 방법에서 효과적이며, 더 정확한 모델일수록 더 취약하며, 저자들은 이러한 위협을 완화하기 위해 두 가지 방어 기법을 제안한다.

ABSTRACT

Semi-supervised machine learning models learn from a (small) set of labeled training examples, and a (large) set of unlabeled training examples. State-of-the-art models can reach within a few percentage points of fully-supervised training, while requiring 100x less labeled data. We study a new class of vulnerabilities: poisoning attacks that modify the unlabeled dataset. In order to be useful, unlabeled datasets are given strictly less review than labeled datasets, and adversaries can therefore poison them easily. By inserting maliciously-crafted unlabeled examples totaling just 0.1% of the dataset size, we can manipulate a model trained on this poisoned dataset to misclassify arbitrary examples at test time (as any desired label). Our attacks are highly effective across datasets and semi-supervised learning methods. We find that more accurate methods (thus more likely to be used) are significantly more vulnerable to poisoning attacks, and as such better training methods are unlikely to prevent this attack. To counter this we explore the space of defenses, and propose two methods that mitigate our attack.

연구 동기 및 목표

• 준지도 학습 모델이 레이블이 지정되지 않은 학습 데이터에 대한 풀링 공격에 얼마나 취약한지 조사하기.
• 적대자가 레이블이 지정되지 않은 예시의 소수를 조작하여 모델의 행동을 조작할 수 있음을 입증하기.
• 모델 정확도와 이러한 풀링 공격에 대한 취약성 간의 관계 분석하기.
• 레이블이 지정되지 않은 데이터 풀링 공격에 대응하는 효과적인 방어 기법 개발 및 평가하기.

제안 방법

• 공격은 모델 훈련 중에 잘못된 분류 행동을 유도할 수 있도록 전략적으로 설계된 적대적 레이블이 지정되지 않은 예시를 생성한다.
• 이 방법은 레이블이 지정되지 않은 데이터로부터의 가짜 레이블 생성에 의존하는 모델의 특성을 이용하여 잘못된 분류 행동을 확산시킨다.
• 특정 테스트 입력에서 모델의 잘못된 분류 비율을 최대화하기 위해 기울기 기반 최적화를 적용한다.
• 공격은 훈련 단계 동안 수행되며, 레이블이 지정된 예시의 소수와 함께 훼손된 레이블이 지정되지 않은 데이터를 사용한다.
• 데이터 정제 및 강건한 훈련 기법을 기반으로 한 방어 기법을 제안하여 훼손된 예시를 탐지하고 완화한다.
• 다양한 준지도 학습 벤치마크에서의 실험적 평가를 통해 방어 기법의 효과성을 평가한다.

실험 결과

연구 질문

• RQ1 준지도 학습에서 레이블이 지정되지 않은 데이터에 대한 풀링 공격이 최소한의 데이터 주입으로 높은 성공률를 달성할 수 있는가?
• RQ2 준지도 학습 모델의 정확도는 레이블이 지정되지 않은 데이터 풀링 공격에 대한 취약성과 어떻게 관련이 있는가?
• RQ3 레이블이 지정되지 않은 데이터 세트에서 모델의 잘못된 분류를 유도하는 데 효과적인 적대적 예시의 핵심 특성은 무엇인가?
• RQ4 기존의 방어 기법들이 준지도 학습 훈련 중에 훼손된 레이블이 지정되지 않은 예시를 효과적으로 탐지하고 중립화할 수 있는가?
• RQ5 이 공격은 다양한 데이터셋과 준지도 학습 아키텍처에서 어떻게 작동하는가?

주요 결과

• 레이블이 지정되지 않은 데이터셋의 단지 0.1%만 조작된 공격은 원하는 테스트 예시를 목표 레이블로 잘못 분류시키는 데 성공한다.
• 더 정확한 준지도 학습 모델일수록 풀링 공격에 훨씬 더 취약하며, 성능과 강건성 사이의 상충 관계를 시사한다.
• 이 공격은 여러 데이터셋과 준지도 학습 방법(최신 기법 포함)에서 효과적이며, 성공적이다.
• 제안된 방어 기법은 공격의 성공률를 감소시켜 완화가 가능하다는 점을 입증한다.
• 모델가 신뢰도 기반 가짜 레이블 생성을 사용하더라도 공격은 여전히 효과적이며, 조작된 예시의 은밀함을 강조한다.