[논문 리뷰] PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in Contrastive Learning

Hongbin Liu, Jinyuan Jia외 1명|arXiv (Cornell University)|2022. 05. 13.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

PoisonedEncoder는 단일 모odal 대비 학습에 대한 타겟팅된 데이터 풀링 공격으로, 타겟 클래스의 참조 이미지와 타겟 입력을 조합한 적대적 입력을 생성하여 레이블이 없는 사전 훈련 데이터를 오염시킨다. 이 공격은 정상 입력에 대해 인코더의 유효성을 유지하면서도, 공격자가 선택한 입력을 타겟 클래스로 잘못 분류하도록 하위 분류기들을 유도하는 데 높은 성공률을 기록한다.

ABSTRACT

Contrastive learning pre-trains an image encoder using a large amount of unlabeled data such that the image encoder can be used as a general-purpose feature extractor for various downstream tasks. In this work, we propose PoisonedEncoder, a data poisoning attack to contrastive learning. In particular, an attacker injects carefully crafted poisoning inputs into the unlabeled pre-training data, such that the downstream classifiers built based on the poisoned encoder for multiple target downstream tasks simultaneously classify attacker-chosen, arbitrary clean inputs as attacker-chosen, arbitrary classes. We formulate our data poisoning attack as a bilevel optimization problem, whose solution is the set of poisoning inputs; and we propose a contrastive-learning-tailored method to approximately solve it. Our evaluation on multiple datasets shows that PoisonedEncoder achieves high attack success rates while maintaining the testing accuracy of the downstream classifiers built upon the poisoned encoder for non-attacker-chosen inputs. We also evaluate five defenses against PoisonedEncoder, including one pre-processing, three in-processing, and one post-processing defenses. Our results show that these defenses can decrease the attack success rate of PoisonedEncoder, but they also sacrifice the utility of the encoder or require a large clean pre-training dataset.

연구 동기 및 목표

• 레이블이 없는 사전 훈련 데이터의 조작을 통해 단일 모달 대비 학습의 타겟팅된 데이터 풀링 공격에 대한 취약성을 해결하기 위해.
• 공격자가 여러 하위 분류기를 조작하여 임의의 정상 입력을 공격자가 선택한 타겟 클래스로 잘못 분류하도록 할 수 있는 방법을 개발하기 위해.
• 대비 학습의 자기지도 학습 목표에 맞추어 양단 최적화 문제로 공격를 공식화하기 위해.
• 하위 훈련 데이터가 정상이면서 오염에 노출되지 않은 현실적인 위협 모델 하에서 PoisonedEncoder의 효과성을 평가하기 위해.
• 기존 방어 기법이 이 새로운 공격에 대해 얼마나 견고한지 평가하고, 유효성 또는 데이터 요구 조건 측면에서의 한계를 규명하기 위해.

제안 방법

• 양단 최적화 문제로 데이터 풀링 공격를 공식화한다: 외부 문제는 오염된 인코더에서의 공격 목표를 정의하고, 내부 문제는 오염된 사전 훈련 데이터에서 인코더의 훈련을 모델링한다.
• 대비 학습에 특화된 근사 방법을 제안하여 양단 최적화를 해결한다. 이는 대비 학습이 동일한 이미지의 자르기 영역들 사이에 유사한 특징을 유도한다는 사실을 활용한다.
• 타겟 입력과 타겟 클래스의 참조 이미지를 수평 또는 수직으로 연결하여 오염 입력을 구성한다. 이렇게 하면 랜덤 자르기 영역이 타겟 입력과 참조 이미지가 될 수 있다.
• 대비 학습의 랜덤 자르기 메커니즘을 활용한다: 오염 입력의 두 자르기 영역이 각각 타겟 입력과 참조 이미지에 해당하면, 인코더는 이들을 유사하게 임bedding한다.
• 결과로 생성된 인코더를 사용해 하위 분류기를 훈련하고, 오염로 인해 유도된 특징 유사성으로 인해 타겟 입력이 타겟 클래스로 잘못 분류된다.
• 트리거가 통합된 보조 입력과 참조 이미지를 연결하여 오염 입력을 생성함으로써 배경 공격으로의 확장 가능성을 제공한다. 이는 트리거가 존재할 경우에만 타겟 클래스로 잘못 분류되도록 한다.

실험 결과

연구 질문

• RQ1 공격자가 하위 훈련 데이터를 수정하지 않고도, 레이블이 없는 사전 훈련 데이터만 오염시켜 여러 하위 분류기를 성공적으로 조작할 수 있는가?
• RQ2 PoisonedEncoder는 정상 입력에 대해 사전 훈련된 인코더의 성능을 유지하면서도 높은 공격 성공률을 달성하는가?
• RQ3 기존의 방어 기법(사전 처리, 내부 처리, 후처리)은 PoisonedEncoder에 대해 어떻게 작용하며, 유효성 또는 데이터 요구 조건 측면에서의 상충 관계는 무엇인가?
• RQ4 제안된 공격는 트리거가 통합된 입력이 타겟 클래스로 잘못 분류되는 백도어 스타일 오염으로 확장될 수 있는가?
• RQ5 현재 방어 기법은 모델 유효성을 훼손하거나 큰 정상 사전 훈련 데이터셋이 필요하지 않도록 하면서도 강건성을 제공하는 데에 어떤 한계를 지니는가?

주요 결과

• PoisonedEncoder는 높은 공격 성공률을 기록하였으며, STL10에서의 백도어 확장 실험에서 트리거가 통합된 입력의 96.54%가 타겟 클래스로 잘못 분류되었다.
• 공격가의 성능을 유지하면서도 비타겟 입력에 대한 테스트 정확도가 높게 유지되어, 오염된 인코더가 정상 입력에 대해 유효성을 유지함을 보여주었다.
• 사전 처리에서 후처리에 이르기까지 평가된 다섯 가지 방어 기법은 공격 성공률를 감소시켰지만, 인코더 유효성을 희생하거나 큰 정상 사전 훈련 데이터셋이 필요로 했다.
• 대비 학습에 대해 배깅을 확장하면 인증된 강건성을 제공하지만, 모델 유효성은 크게 떨어지며, 이는 강건성과 성능 사이에 강한 상충 관계가 있음을 시사한다.
• 내부 처리 방어 기법인 조기 정지 및 랜덤 자르기 비활성화는 공격 성공률를 감소시켰지만, 인코더의 일반화 성능도 저하시켰다.
• 후처리 방어 기법인 피니튜닝은 공격 성공률를 감소시킬 수 있지만, 정상 사전 훈련 데이터셋이 필요하여 확보하기가 실용적이지 않다.