[논문 리뷰] Contrastive Learning with Adversarial Examples

Chih-Hui Ho, Nuno Vasconcelos|arXiv (Cornell University)|2020. 10. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 77인용 수 54

한 줄 요약

CLA E를 도입하는 방법으로, 적대적 증강(adversarial augmentations)을 사용해 SSL의 대조 학습에서 더 어려운 양성(positive) 및 음성(negative) 쌍을 생성하고, 여러 기준선과 데이터셋에서 다운스트림 분류를 향상시킨다.

ABSTRACT

Contrastive learning (CL) is a popular technique for self-supervised learning (SSL) of visual representations. It uses pairs of augmentations of unlabeled training examples to define a classification task for pretext learning of a deep embedding. Despite extensive works in augmentation procedures, prior works do not address the selection of challenging negative pairs, as images within a sampled batch are treated independently. This paper addresses the problem, by introducing a new family of adversarial examples for constrastive learning and using these examples to define a new adversarial training algorithm for SSL, denoted as CLAE. When compared to standard CL, the use of adversarial examples creates more challenging positive pairs and adversarial training produces harder negative pairs by accounting for all images in a batch during the optimization. CLAE is compatible with many CL methods in the literature. Experiments show that it improves the performance of several existing CL baselines on multiple datasets.

연구 동기 및 목표

• 대조적 자기지도 학습(SSL)에서 더 어려운 음성(negative)과 양성(positive) 쌍의 필요성을 제시한다.
• 대조 학습(CL)을 위한 도전적인 쌍을 생성하기 위한 적대적 증강 프레임워크를 제안한다.
• SSL에서 적대적으로 섭동된 양성으로 표준 음성과 결합한 학습 알고리즘 CLAE를 개발한다.
• 여러 CL 기준선 및 데이터셋에서 CLAE가 다운스트림 분류 성능을 향상시킴을 입증한다.

제안 방법

• 배치 의식 방식으로 증강을 섭동시켜 대조 손실을 최대화하도록 적대적 증강을 정의한다.
• 일반 양성 증강을 교차 엔트로피 손실에 대해 최적화된 적대적으로 섭동된 증강으로 대체한다.
• AdvProp에서 영감을 받은 이중 분기 스키마를 사용하여 깨끗한/적대적 예시에 대해 분리된 배치 정규화와 하이퍼파라미터 α로 손실을 균형화한다.
• 증강 입력에 대해 FGSM 류의 업데이트로 적대적 섭동을 계산하고, 배치를 통해 모든 인스턴스를 반영하도록 전파한다.
• 기존 CL 손실(Plain, UEL, SimCLR)과 CLAE를 통합하고 다양한 CL 프레임워크와의 호환성을 보인다.

실험 결과

연구 질문

• RQ1 양성 및 음성 쌍을 함께 최적화하는 적대적 증강이 대조적 SSL 표현을 향상시킬 수 있는가?
• RQ2 CL의 적대적 학습(CLAE)이 데이터셋 전반에서 표준 CL 기준선보다 더 나은 다운스트림 분류기를 제공하는가?
• RQ3 배치-의식 적대적 섭동이 전통적 방법과 비교하여 SSL의 강한 음수 채굴에 어떤 영향을 미치는가?
• RQ4 다양한 공격 방법과 네트워크 아키텍처에 대해 CLAE가 견고하며 데이터셋 전반에 걸쳐 이점을 계속 제공하는가?

주요 결과

• 적대적 증강은 무작위 섭동보다 더 큰 대조 손실과 다운스트림 교차 엔트로피 손실을 유발하여 학습 쌍을 더 어렵게 만든다.
• CLA E는 CIFAR-10, CIFAR-100, tinyImageNet에서 kNN 및 LR 분류기를 대상으로 모든 테스트된 CL 기준선의 다운스트림 분류 정확도를 향상시킨다.
• 적대적 학습은 ε 값이 대략 0.03–0.07에서 이점을 얻으며, 더 작은 배치 크기와 더 강력한 아키텍처에서도 개선이 나타난다.
• AdvProp 스타일의 이중 배치 정규화를 사용하여 CLAE는 안정적인 성능을 유지하며 FGSM, R-FGSM, F-FGSM, PGD 등 다양한 공격 방식에서 이점이 관찰된다.
• 더 긴 프리텍스트 학습과 더 큰 아키텍처는 CLAE의 이점을 기본 CL 방법보다 더 크게 확대하여 도전적인 학습 쌍의 활용을 더 잘 보여준다.