[논문 리뷰] Poisoning and Backdooring Contrastive Learning

Nicholas Carlini, Andreas Terzis|arXiv (Cornell University)|2021. 06. 17.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 19

한 줄 요약

이 논문은 인터넷에서 크롤링한 코퍼스에서 훈련된 다중모달 대비 학습 모델, 예를 들어 CLIP와 같은 모델이 매우 취약하다는 것을 입증한다. 비정제된 데이터셋에서 훈련할 경우, 공격자가 단지 0.01%의 오염된 데이터(예: 300장의 이미지, 총 300만 장의 데이터셋 기준)를 삽입하기만 해도 작은 패치 트리거를 통해 오분류를 유도할 수 있으며, 표적 공격의 경우 0.0001% 미만의 데이터로도 성공할 수 있어 자기지도 학습에서 심각한 보안 위험이 노출된다.

ABSTRACT

Multimodal contrastive learning methods like CLIP train on noisy and uncurated training datasets. This is cheaper than labeling datasets manually, and even improves out-of-distribution robustness. We show that this practice makes backdoor and poisoning attacks a significant threat. By poisoning just 0.01% of a dataset (e.g., just 300 images of the 3 million-example Conceptual Captions dataset), we can cause the model to misclassify test images by overlaying a small patch. Targeted poisoning attacks, whereby the model misclassifies a particular test input with an adversarially-desired label, are even easier requiring control of 0.0001% of the dataset (e.g., just three out of the 3 million images). Our attacks call into question whether training on noisy and uncurated Internet scrapes is desirable.

연구 동기 및 목표

• 비정제된 인터넷 크롤링 데이터셋에서 훈련된 다중모달 대비 학습 모델에 대한 데이터 오염 및 뒷통수 공격의 가능성 탐구.
• 대비 학습에서 노이즈가 많고 비정제된 데이터를 사용할 경우 심각한 보안 취약성이 유발되는지 평가.
• 감독 학습에 비해 훨씬 적은 양의 데이터 오염(수십만 분의 일 수준)으로도 모델 행동을 성공적으로 조작할 수 있음을 입증.
• 자기지도 학습 및 대비 학습 시스템에서의 데이터 오염에 대비한 자동 방어 기법 개발의 필요성 제기.

제안 방법

• 대비 학습 파라다임에 맞게 기존의 오염 및 뒷통수 공격 기법을 변형 적용함. 이는 모델이 양성 및 부정성 데이터 쌍을 대조함으로써 학습하는 방식이다.
• 각 예시에 소형의 눈에 띄지 않는 패치(예: 16×16의 체크무늬)를 트리거로 삽입하여 오염된 예시를 훈련 데이터셋에 통합.
• 공격 설정에 따라 패치의 배치를 일관되게 또는 무작위로 설정하여 모델의 강건성 평가.
• 표준 훈련 파이프라인을 사용해 대규모 데이터셋(예: Conceptual Captions, YFCC)의 오염된 버전에서 대비 모델(예: CLIP)을 훈련.
• 정상 입력에 대한 모델 성능을 평가하고, 뒷통수 공격 및 표적 오염 조건 하에서의 오분류 비율을 테스트.
• 기존의 오픈소스 CLIP 훈련 도구를 활용하여 훈련 과정에 최소한의 수정만으로 공격를 재현.

실험 결과

연구 질문

• RQ1 비정제된 인터넷 크롤링 데이터셋에서 훈련된 대비 학습 모델에 대해 뒷통수 공격를 효과적으로 수행할 수 있는가?
• RQ2 대비 모델의 행동을 조작하기 위해 얼마나 많은 양의 데이터 오염이 필요한가?
• RQ3 대비 학습에서 노이즈가 많고 비정제된 데이터를 사용할 경우 데이터 오염 공격의 가능성과 영향력이 증가하는가?
• RQ4 수동 데이터 정제 없이도 최소한의 데이터 삽입으로 표적 오염 공격를 수행할 수 있는가?
• RQ5 이러한 공격는 실세계에서의 자기지도 학습 모델 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 대비 학습 모델에 대한 뒷통수 공격는 훈련 데이터의 0.01%만 오염시켜도 성공할 수 있으며, 이는 감독 학습에서 일반적으로 요구되는 1%보다 훨씬 적다.
• 표적 오염 공격는 데이터셋의 0.0001% 미만의 오염으로도 성공할 수 있어 데이터 삽입의 극도로 높은 효율성을 보인다.
• 수동 검토가 불가능한 인터넷에서 크롤링한 비정제된 데이터셋에서도 공격가 효과적이다.
• 정상 테스트 데이터에 대해서는 높은 정확도를 유지하면서도, 트리거 패치가 포함된 입력에 대해서는 높은 오분류 비율을 보인다.
• 표준 CLIP 훈련 도구를 사용해 공격를 실현 가능하고, 아키텍처나 알고리즘 변경 없이도 재현이 가능하다.
• 이러한 결과는 비정제된 데이터에서 훈련될 경우 대비 학습 모델의 보안가 기본적으로 손상되며, 새로운 방어 기법 개발이 필수적임을 시사한다.