[논문 리뷰] Indiscriminate Poisoning Attacks on Unsupervised Contrastive Learning

Hao He, Kaiwen Zha외 1명|arXiv (Cornell University)|2022. 02. 22.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 비지도 대비 학습(Contrastive Learning, CL)을 대상으로 하는 첫 번째 효과적인 무차별적 데이터 풀링 공격인 대비 풀링(Contrastive Poisoning, CP)을 소개한다. 대비 손실, 데이터 증강, 모멘텀 인코더 동역학을 활용하여 CP는 CL 성능을 극적으로 악화시키며, 감독 학습으로의 일반화도 가능하게 하여 CL의 상대적 내성과 행렬 완성 기반 증강과 같은 새로운 방어 수단의 필요성을 드러낸다.

ABSTRACT

Indiscriminate data poisoning attacks are quite effective against supervised learning. However, not much is known about their impact on unsupervised contrastive learning (CL). This paper is the first to consider indiscriminate poisoning attacks of contrastive learning. We propose Contrastive Poisoning (CP), the first effective such attack on CL. We empirically show that Contrastive Poisoning, not only drastically reduces the performance of CL algorithms, but also attacks supervised learning models, making it the most generalizable indiscriminate poisoning attack. We also show that CL algorithms with a momentum encoder are more robust to indiscriminate poisoning, and propose a new countermeasure based on matrix completion. Code is available at: https://github.com/kaiwenzha/contrastive-poisoning.

연구 동기 및 목표

• 비지도 대비 학습(CL)이 무차별적 데이터 풀링 공격에 얼마나 취약한지 조사하기 위해.
• 기존 감독 학습에 대한 공격가 실패하는, CL에 효과적인 새로운 풀링 방법을 개발하기 위해.
• 모멘텀 인코더를 갖춘 CL 모델의 내성성을 평가하고, 표준 CL 대비 그 장점들을 규명하기 위해.
• 기존의 방어 기법을 풀링 공격에 대해 평가하고, 행렬 완성 기반의 새로운, 더 효과적인 방어 기법을 제안하기 위해.

제안 방법

• 대비 학습 목표, 특히 InfoNCE 손실을 직접적으로 겨냥하는 풀링 생성 과정을 설계하여 표현 학습을 오도하기 위해.
• CL에서의 데이터 증강을 고려한 미분 절차를 도입하여, 증강된 시각 간 효과성을 보장하기 위해.
• 모멘텀 인코더를 갖춘 CL 모델(MoCo, BYOL 등)을 효과적으로 풀링하기 위해 이중 분지 기반 기울기 전파 방식을 구현하기 위해.
• 다양한 CL 아키텍처로의 전이성을 향상시키기 위해 모멘텀 인코더를 사용해 풀링을 생성하기 위해.
• 표준 데이터 증강(랜덤 노이즈, 가우스 스무딩, 컷아웃)을 사용하여 방어 기법을 평가하고, 새로운 행렬 완성 기반 증강을 제안하기 위해.
• 결손된 픽셀을 복원하기 위해 일반화된 특이값 임계치(USVT)를 사용해 행렬 완성하기 위해.

실험 결과

연구 질문

• RQ1 감독 학습에 효과적인 무차별적 풀링 공격가 비지도 대비 학습 모델의 성능을 성공적으로 악화시킬 수 있는가?
• RQ2 CL이 감독 학습보다 무차별적 풀링에 더 강건한 데 기여하는 주요 아키텍처적 및 학습적 차이점은 무엇인가?
• RQ3 CL에서 모멘텀 인코더의 사용이 풀링 공격에 대한 취약성에 어떤 영향을 미치는가?
• RQ4 한 CL 모델용으로 생성된 단일 풀링이 다른 CL 모델뿐 아니라 감독 학습 모델까지도 효과적으로 공격할 수 있는가?
• RQ5 행렬 완성 기반 증강이 대비 풀링 공격에 대비하여 표준 증강보다 더 효과적인가?

주요 결과

• SimCLR, MoCo, BYOL 등의 대비 학습 모델은 기존 감독 학습을 대상으로 한 무차별적 풀링 공격에 대해 매우 강건하여, 강한 풀링 조건에서도 높은 정확도를 유지한다.
• CP(S) 및 CP(C) 공격 조건에서 SimCLR에서는 테스트 정확도가 44.9% 하락하고, MoCo에서는 68.9% 하락하여 CP의 효과성을 입증한다.
• 모멘텀 인코더를 갖춘 모델(MoCo, BYOL)은 모멘텀 인코더가 없는 모델(SimCLR)보다 상당히 더 강건하며, CP에 의해 성능 저하가 더 적게 발생한다.
• 행렬 완성 기반 방어는 공격 전반에 걸쳐 평균 86.9%의 정확도를 달성하여, 적대적 훈련(80.8%) 및 기타 증강 기법보다 뛰어난 성능을 보였다.
• 감독 학습 풀링에 효과적인 적대적 훈련은 CP에 대해 방어에 실패하여, CL에서 새로운 방어 전략의 필요성을 강조한다.
• 클래스별 풀링은 샘플별 풀링보다 데이터 증강 방어에 더 강건하며, 후자는 이러한 방어에 매우 민감하다.