[논문 리뷰] Robust Pre-Training by Adversarial Contrastive Learning

Ziyu Jiang, Tianlong Chen외 2명|arXiv (Cornell University)|2020. 10. 26.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 72

한 줄 요약

논문은 Adversarial Contrastive Learning(ACL) 세 가지 변형을 제시하고, 최적의 DS(Dual-Stream)을 선택해 적대적 섭동과 데이터 증강에 강건한 표현을 사전 학습하여 감독 및 준-감독 설정에서 강건성과 표준 정확도를 모두 향상시킨다.

ABSTRACT

Recent work has shown that, when integrated with adversarial training, self-supervised pre-training can lead to state-of-the-art robustness In this work, we improve robustness-aware self-supervised pre-training by learning representations that are consistent under both data augmentations and adversarial perturbations. Our approach leverages a recent contrastive learning framework, which learns representations by maximizing feature consistency under differently augmented views. This fits particularly well with the goal of adversarial robustness, as one cause of adversarial fragility is the lack of feature invariance, i.e., small input perturbations can result in undesirable large changes in features or even predicted labels. We explore various options to formulate the contrastive task, and demonstrate that by injecting adversarial perturbations, contrastive pre-training can lead to models that are both label-efficient and robust. We empirically evaluate the proposed Adversarial Contrastive Learning (ACL) and show it can consistently outperform existing methods. For example on the CIFAR-10 dataset, ACL outperforms the previous state-of-the-art unsupervised robust pre-training approach by 2.99% on robust accuracy and 2.14% on standard accuracy. We further demonstrate that ACL pre-training can improve semi-supervised adversarial training, even when only a few labeled examples are available. Our codes and pre-trained models have been released at: https://github.com/VITA-Group/Adversarial-Contrastive-Learning.

연구 동기 및 목표

• 비전에서 무라벨 데이터를 활용하여 라벨 효율적이고 강건한 모델 학습을 동기 부여.
• 데이터 증강 및 섭동 하에서 특징 일관성을 보장하기 위해 대조적 자기 감독 학습과 적대적 학습을 통합.
• 다양한 ACL 구성(A2A, A2S, DS)을 탐색하고 최상의 성능 구성을 식별.
• CIFAR-10/100에서 완전 감독 및 준감독 미세조정에서 강건성과 정확도 향상을 입증.

제안 방법

• 데이터 증강 하에서 불변 표현을 학습하기 위해 SimCLR 대조 학습에 기초한다.
• 세 가지 변형으로 Adversarial Contrast Learning(ACL)을 도입한다: Adversarial-to-Adversarial(A2A), Adversarial-to-Standard(A2S), Dual-Stream(DS).
• A2A에서는 두 증강 뷰 모두에 대해 적대적 섭동을 생성하고 유사성 손실을 최대화한다.
• A2S에서는 한 뷰를 섭동하고 다른 뷰는 표준으로 유지하며, 통계를 분리하기 위해 이중 배치 정규화(BN)를 사용한다.
• DS에서는 표준 뷰와 적대적 뷰 쌍을 두 개의 BR 가지로 결합하되 가중치는 공유하고 BN은 분리하여 표준 목표와 강건 목표의 균형을 맞춘다.
• 교사 지도 미세 조정과 준지도 학습 파이프라인을 제공하며, ACL 사전 학습을 사용하고 교차 엔트로피, 증류, 강건성 규제의 혼합 손실을 갖는 특정 손실로 구성된다.
• 학습 세부사항 강조: 사전 학습은 1000 에폭으로 사전학습, 사전 학습 동안 PGD 기반 섭동(5단계), 미세조정 동안 표준 AT.

실험 결과

연구 질문

• RQ1 대조적 사전 학습을 대조 목표에 적대적 뷰를 주입함으로써 적대적 섭동에 대해 강건하게 만들 수 있는가?
• RQ2 표준 정확도와 강건 정확도 간의 최적 트레이드오프를 제공하는 ACL 변형은 어느 것(A2A, A2S, DS)인가?
• RQ3 ACL 사전학습이 준지도 설정에서 라벨 효율적 적대적 학습을 개선하는가, 극도로 적은 라벨 구간 포함?
• RQ4 적대적 및 표준 가지를 사용할 때 듀얼 BN 구성은 강건성 및 표준 정확도에 어떤 영향을 미치는가?
• RQ5 적대적 평가 하에서 대조적 사전 학습이 더 선형적으로 구분 가능한 표현을 생성하는가?

주요 결과

• ACL Dual-Stream (DS) 사전 학습은 CIFAR-10 및 CIFAR-100에서 기존의 강건 사전 학습 방법보다 최첨단 TA/RA를 달성한다.
• CIFAR-10에서 DS는 TA 82.19%와 RA 52.82%를 산출하며, 이전 최고치 대비 TA는 2.14% 증가, RA는 2.99% 증가.
• CIFAR-100에서 DS는 TA 56.77%와 RA 28.33%를 산출하며, 이전 최고치 대비 TA는 2.14% 증가, RA는 3.58% 증가.
• 라벨의 10%로 설정된 준지도 설정에서 ACL(DS)은 Selfie/UAT++ 베이스라인 대비 TA를 4.50% 증가시키고 RA를 0.72% 증가시키며, 1% 라벨일 때도 격차가 크게 남아 있다(예: DS의 TA 75.66, RA 50.67은 다른 방법에 비해 여전히 낮음).
• ACL 사전 학습은 기준선보다 높은 의사 라벨 정확도(86.73%)를 보이며(예: 37.67% 또는 46.75%), 준감 Robustness 향상에 기여한다.
• 아베레이션 DS가 A2A 및 A2S보다 강건성 및 특징 품질의 균형에서 우수함을 보여주며, SimCLR(S2S)은 TA를 개선하지만 RA는 크게 개선하지 못한다.
• 테스트를 위한 듀얼 BN(adv)을 사용하는 것이 단일 BN보다 더 나은 강건성을 제공하며, DS가 일반적으로 견고한 평가에 선호된다.
• ACL(DS) 사전 학습에서 시작할 때 미세조정 중 강건성이 더 빠르게 향상되어 무작위 초기화보다 더 빨리 RA를 달성하는 경향이 있으며, 학습률 스케줄에 따라 강건성 역학이 달라진다.