[논문 리뷰] Adversarial Self-Supervised Contrastive Learning

Minseon Kim, Jihoon Tack외 1명|arXiv (Cornell University)|2020. 06. 13.

Adversarial Robustness in Machine Learning참고 문헌 47인용 수 83

한 줄 요약

RoCL은 레이블 없이 인스턴스-별 적대적 공격을 수행하고 자기지도 대비 학습 프레임워크 내에서 신경망을 적대적으로 강건하게 학습시켜 감독 방법에 버금가는 강건성과 강한 전이성을 달성한다.

ABSTRACT

Existing adversarial learning approaches mostly use class labels to generate adversarial samples that lead to incorrect predictions, which are then used to augment the training of the model for improved robustness. While some recent works propose semi-supervised adversarial learning methods that utilize unlabeled data, they still require class labels. However, do we really need class labels at all, for adversarially robust training of deep neural networks? In this paper, we propose a novel adversarial attack for unlabeled data, which makes the model confuse the instance-level identities of the perturbed data samples. Further, we present a self-supervised contrastive learning framework to adversarially train a robust neural network without labeled data, which aims to maximize the similarity between a random augmentation of a data sample and its instance-wise adversarial perturbation. We validate our method, Robust Contrastive Learning (RoCL), on multiple benchmark datasets, on which it obtains comparable robust accuracy over state-of-the-art supervised adversarial learning methods, and significantly improved robustness against the black box and unseen types of attacks. Moreover, with further joint fine-tuning with supervised adversarial loss, RoCL obtains even higher robust accuracy over using self-supervised learning alone. Notably, RoCL also demonstrate impressive results in robust transfer learning.

연구 동기 및 목표

• 대상 분류 라벨에 의존하지 않고 적대적 학습에서 심층 신경망의 강건성을 촉진한다.
• 레이블이 필요하지 않은 인스턴스-별 적대적 공격을 제안한다.
• 대비 학습을 통해 깨끗한 입력과 인스턴스-별 perturb된 증강 간의 유사성을 최대화하도록 RoCL을 개발한다.
• 화이트박스, 블랙박스 및 미지의 공격에 대한 강인성을 입증하고 전이 학습 능력을 평가한다.

제안 방법

• 레이블 없이 인스턴스 신원을 혼동시키는 인스턴스-별 적대적 교란을 도입한다.
• 자기지도 대비 학습(SimCLR-style)을 확장하여 양성 집합에 적대적 교란을 포함한다.
• RoCL 목표를 증강 및 적대적으로 교란된 뷰에 대한 대비 손실과 적대적 예제를 포함하는 규제 항(L_RoCL)을 결합하는 것으로 정의한다.
• 내부 최대가 대비 손실을 최대화하기 위해 변환된 샘플을 epsilon-볼 이내에서 교란시키는 최소-최대 형식을 사용한다.
• 변환 스무딩 추론(transform smoothed inference)을 채택하여 변환 평균화된 더 강건한 예측을 얻는다.
• 비지도 학습 후 클래스 수준의 강인성을 평가하기 위한 선형 평가 및 robust-linear 평가(r-LE)를 지원한다.

실험 결과

연구 질문

• RQ1 자기지도 학습을 사용하여 클래스 라벨 없이도 강건한 적대적 학습이 가능할까?
• RQ2 인스턴스-별 적대적 교란이 증강된 뷰에 대한 학습 표현을 다양한 공격 유형(미지의 공격 포함)에 대해 강인하게 만들까?
• RQ3 강건성 및 깨끗한 정확도 측면에서 RoCL이 감독적 적대적 방법과 어떻게 비교되며 다른 데이터셋으로의 전이가 가능할까?
• RQ4 변환 및 평균화(Transformation smoothed classifier)가 강건성과 정확도를 향상시킬까?
• RQ5 RoCL을 감독적 적대적 미세조정 또는 전이 학습과 결합하는 효과는 무엇인가?

주요 결과

• RoCL은 레이블 없는 학습으로 CIFAR-10에서 강력한 감독적 적대적 방법에 버금가는 강건성을 달성한다.
• RoCL은 일부 기준선 Baseline에 비해 블랙박스 및 미지의 공격 유형에 대한 강건성이 크게 향상된다.
• 감독적 적대적 손실과의 공동 미세조정은 깨끗한 정확도를 희생하지 않으면서 더 높은 강인한 정확도를 얻을 수 있다.
• RoCL은 CIFAR-10 및 CIFAR-100 간의 전이 학습 시나리오에서 인상적인 강건성을 보여준다.
• 특정 공격에서 변환 스무딩 추론은 강건성과 깨끗한 정확도를 더 향상시킨다.