[논문 리뷰] Poison Frogs! Targeted Clean-Label Poisoning Attacks on Neural Networks

Ali Shafahi, Wei Huang외 5명|arXiv (Cornell University)|2018. 04. 03.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 249

한 줄 요약

이 논문은 전체 성능 저하 없이 특정 테스트 인스턴스에서 모델 행동을 조작하는 타겟팅된 클린 레이블 오염 공격을 제안한다. 오염 이미지를 네트워크의 은닉 레이어에서 목표 특징과 일치하도록 최적화함으로써, 워터마킹과 다양한 기본 이미지를 사용하여, 전이 학습에서는 100% 성공률을 달성하고, 엔드 투 엔드 학습에서는 약 50개의 오염 이미지로 최대 60% 성공률을 기록한다.

ABSTRACT

Data poisoning is an attack on machine learning models wherein the attacker adds examples to the training set to manipulate the behavior of the model at test time. This paper explores poisoning attacks on neural nets. The proposed attacks use "clean-labels"; they don't require the attacker to have any control over the labeling of training data. They are also targeted; they control the behavior of the classifier on a $ extit{specific}$ test instance without degrading overall classifier performance. For example, an attacker could add a seemingly innocuous image (that is properly labeled) to a training set for a face recognition engine, and control the identity of a chosen person at test time. Because the attacker does not need to control the labeling function, poisons could be entered into the training set simply by leaving them on the web and waiting for them to be scraped by a data collection bot. We present an optimization-based method for crafting poisons, and show that just one single poison image can control classifier behavior when transfer learning is used. For full end-to-end training, we present a "watermarking" strategy that makes poisoning reliable using multiple ($\approx$50) poisoned training instances. We demonstrate our method by generating poisoned frog images from the CIFAR dataset and using them to manipulate image classifiers.

연구 동기 및 목표

• 전체 정확도 저하 없이 특정 테스트 인스턴스에서 분류기 행동을 조작하는 타겟팅 오염 공격을 개발하는 것.
• 사람이나 자동 시스템에 의해 정확하게 레이블링된 클린 레이블 학습 데이터를 사용하여, 표준 데이터 품질 검사로는 탐지되지 않는 공격을 설계하는 것.
• 공격자가 레이블링에 영향을 주지 못하는 공개 데이터 소스(예: 웹 스크래핑된 이미지)를 통해 오염을 삽입할 수 있도록 실질적인 가능성을 확보하는 것.
• 딥 네트워크의 표현 능력 덕분에 전이 학습보다 엔드 투 엔드 학습에서 오염이 더 어려운 문제를 극복하는 것.
• 작은 수의 정교하게 제작된 워터마킹된 오염 이미지가 특정 타겟 인스턴스를 잘못 분류하도록 모델을 신뢰성 있게 유도할 수 있음을 보여주는 것.

제안 방법

• 알고리즘 1을 사용하여 신경망의 특징 공간에서 목표 이미지와 일치하도록 오염 이미지를 최적화한다.
• 목표 이미지를 제어된 투명도(예: 20–30%)로 기본 이미지와 혼합하여 워터마킹 기법을 적용함으로써 특징 겹침을 향상시킨다.
• 다양한 기본 이미지를 사용하여 오염 이미지 집합을 생성함으로써, 네트워크가 목표에 대해 특별한 특징을 학습하지 못하도록 방지한다.
• 엔드 투 엔드 학습에서는 고도의 오염 다양성을 사용하여, 목표가 기본 분포 쪽으로 끌려오는 특징 공간 붕괴 현상을 유리하게 활용한다.
• 최적화, 다양성, 워터마킹이 모두 성공에 필수적임을 검증하기 위해 리브 원 아웃 아블레이션 연구를 수행한다.
• 영향 함수와 특징 시각화를 활용하여 전이 학습과 엔드 투 엔드 학습에서 오염이 어떻게 다르게 작용하는지 분석한다.

실험 결과

연구 질문

• RQ1 최소한의 오염 예산과 레이블링에 대한 제어 없이도 타겟팅된 클린 레이블 오염 공격를 수행할 수 있는가?
• RQ2 왜 오염 공격가 전이 학습에서는 엔드 투 엔드 학습보다 더 효과적인가? 그리고 이 격차를 어떻게 메울 수 있는가?
• RQ3 투명도 제어를 통한 워터마킹이 엔드 투 엔드 학습에서 오염 공격 성공률를 어떻게 향상시키는가?
• RQ4 엔드 투 엔드 학습에서 오염 다양성이 공격 성공률에 얼마나 기여하는가?
• RQ5 낮은 신뢰도(아웃라이어) 타겟은 표준 타겟보다 더 쉽게 조작될 수 있는가?

주요 결과

• 제안된 클린 레이블 공격은 전이 학습 시나리오에서 100% 성공률를 기록하며, 이는 동일한 작업에서 이전 연구가 달성한 57% 성공률를 뛰어넘는 성과이다.
• 엔드 투 엔드 학습에서는 약 50개의 오염된 이미지를 사용해 최대 60%의 성공률를 달성했으며, 오염 수가 증가할수록 성공률가 단조롭게 증가하는 경향을 보였다.
• 낮은 신뢰도(아웃라이어) 인스턴스를 대상으로 삼을 경우 성공률가 70%로 상승하여, 무작위 타겟보다 17% 향상되었다.
• 30% 투명도로 워터마킹을 적용하면 성공률가 크게 향상되었고, 투명도를 20%로 낮추면 성능이 떨어져 특징 겹침에 민감함을 입증했다.
• 엔드 투 엔드 학습에서 결정 경계는 거의 변화하지 않았으며, 이는 오염이 경계 회전이 아닌 특징 공간 이동을 통해 작용함을 시사한다.
• 아블레이션 연구를 통해 최적화, 다양성, 워터마킹이 엔드 투 엔드 학습에서 성공한 데 있어 모두 필수적인 요소임을 확인했다.