[논문 리뷰] Label Poisoning is All You Need

Rishi D. Jha, Jonathan Hayase외 1명|arXiv (Cornell University)|2023. 10. 29.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 입력 이미지를 수정하지 않고 훈련 레이블만 손상시켜 모델을 오염시키는 새로운 레이블 전용 뒷통로 공격인 FLIP을 소개한다. CIFAR-10에서 단지 2%의 레이블 오염으로도 공격 성공률가 99.4%에 도달하면서도 정상 정확도는 단지 1.8% 감소한다. 이 방법은 데이터셋 정련에서 유래한 궤적 매칭을 활용하여 특정 레이블 패턴과 대상 클래스 간의 연관성을 학습시키며, 입력 이미지의 변경 없이도 효과적으로 작용한다.

ABSTRACT

In a backdoor attack, an adversary injects corrupted data into a model's training dataset in order to gain control over its predictions on images with a specific attacker-defined trigger. A typical corrupted training example requires altering both the image, by applying the trigger, and the label. Models trained on clean images, therefore, were considered safe from backdoor attacks. However, in some common machine learning scenarios, the training labels are provided by potentially malicious third-parties. This includes crowd-sourced annotation and knowledge distillation. We, hence, investigate a fundamental question: can we launch a successful backdoor attack by only corrupting labels? We introduce a novel approach to design label-only backdoor attacks, which we call FLIP, and demonstrate its strengths on three datasets (CIFAR-10, CIFAR-100, and Tiny-ImageNet) and four architectures (ResNet-32, ResNet-18, VGG-19, and Vision Transformer). With only 2% of CIFAR-10 labels corrupted, FLIP achieves a near-perfect attack success rate of 99.4% while suffering only a 1.8% drop in the clean test accuracy. Our approach builds upon the recent advances in trajectory matching, originally introduced for dataset distillation.

연구 동기 및 목표

• 공격자가 입력 이미지를 제어하지 못하고 훈련 레이블만 제어할 수 있는 상황에서 뒷통로 공격가 가능한지 조사하기 위해.
• 훈련 이미지는 정상이지만 레이블을 신뢰할 수 없는 제3자로부터 제공받는 경우 모델이 뒷통로로부터 안전하다는 가정을 도전하기 위해.
• 높은 정상 정확도를 유지하면서도 거의 완벽한 공격 성공률를 달성하는 실용적이고 효과적인 레이블 전용 뒷통로 공격을 개발하기 위해.
• SPECTRE, k-means, PCA와 같은 최신 방어 기법에 대한 FLIP의 강건성 평가하기 위해.
• fine-tuning을 통해 대규모 비전 트랜스포머에 FLIP 공격의 전이성 입증하기 위해.

제안 방법

• FLIP는 데이터셋 정련에서 유래한 기법인 궤적 매칭을 사용하여, 원하는 레이블 분포와 일치하는 모델 가중치의 시퀀스를 학습한다.
• 이 방법은 각 예시가 깨끗한 이미지와 오염된 레이블로 구성된 합성 데이터셋에서 모델을 훈련시키며, 레이블 패턴이 특정 대상 클래스와 연관되도록 유도한다.
• 레이블 오염은 이미지 내용을 변경하지 않고도 정해진 패턴(예: 사인파형, 주기적, Turner 트리거)에 따라 일부 훈련 레이블을 대상 클래스로 재할당하여 구현된다.
• 공격는 손실 함수를 최적화하여 오염된 예측의 예측 궤적을 대상 레이블 쪽으로 수렴시키며, 정상 데이터에 대한 성능는 유지하도록 한다.
• FLIP는 ResNet-32, ResNet-18, VGG-19, 비전 트랜스포머 등의 다양한 아키텍처와 CIFAR-10, CIFAR-100, Tiny-ImageNet 등의 데이터셋에서 평가되어 일반화 및 전이 가능성 평가된다.
• fine-tuning 시나리오에서도 테스트되며, 사전 훈련된 ViT를 ResNet 또는 VGG-19 모델에서 생성한 FLIP 레이블로 fine-tuning한 결과, 강력한 전이성 입증된다.

실험 결과

연구 질문

• RQ1 입력 이미지를 수정하지 않고도 레이블만 오염시켜 뒷통로 공격를 성공시킬 수 있는가?
• RQ2 FLIP 공격는 낮은 오염 비율에서도 높은 정상 정확도를 유지하면서 거의 완벽한 오염 공격 성공률를 달성하는가?
• RQ3 SPECTRE, k-means, PCA와 같은 최신 뒷통로 방어 기법에 대해 FLIP는 어떻게 성능을 보이는가?
• RQ4 사전 훈련된 모델에서 fine-tuning을 통해 FLIP로 생성된 레이블 오염이 대규모 비전 트랜스포머에 효과적으로 전이되는가?
• RQ5 강력한 공격 성능를 달성하기 위해 필요한 최소한의 레이블 오염 수는 얼마인가?

주요 결과

• CIFAR-10의 레이블 2%만 오염시켜도 FLIP는 오염 테스트 정확도(PTA) 99.4%를 달성하면서도 정상 테스트 정확도(CTA)는 단지 1.8% 감소한다.
• FLIP는 기존 베이스라인(예: [18]의 다중 레이블 공격 및 내적 곱 기반 베이스라인)보다도 PTA와 CTA의 상호보완적 성능를 더 우수하게 달성하며, 특히 낮은 오염 비율에서 두각을 나타낸다.
• SPECTRE 방어는 FLIP에 대해 매우 효과적이며, 모든 트리거 유형에서 PTA를 거의 0으로 낮춘 반면, k-means 및 PCA 방어는 공격를 억제하지 못한다.
• FLIP는 강력한 전이성을 보이며, ResNet-32 또는 VGG-19 모델에서 훈련한 레이블이 사전 훈련된 비전 트랜스포머를 ImageNet1K에서 fine-tuning할 때 효과적으로 뒷통로를 삽입하여 1,500개의 오염 레이블로도 94% 이상의 PTA를 달성한다.
• FLIP에서 ℓ₁-정규화의 사용은 성능 향상에 기여하지 않으며, 이는 핵심 방법이 이미 레이블 효율성과 강건성에 최적화되어 있음을 시사한다.
• SPECTRE와 같은 강력한 방어 기법이 적용된 상황에서도, 이미지는 정상이지만 레이블이 신뢰할 수 없는 환경(예: 커뮤니티 기반 애너테이션, 지식 정련)에서는 FLIP가 여전히 위협 요소로 남아 있다.