[논문 리뷰] Efficient Adversarial Contrastive Learning via Robustness-Aware Coreset Selection

Xilie Xu, Jingfeng Zhang외 3명|arXiv (Cornell University)|2023. 02. 08.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 표현 분산을 최소화하는 소규모이고 정보량이 많은 데이터의 부분집합을 선택하여, 자연 예측과 가상의 적대적 예측 간의 표현 분산을 최소화함으로써, 적대적 대비 학습(ACL)을 가속화하는 레이블 없는 방법인 내성적 저항성 인식 코어셋 선택(RCS)을 제안한다. RCS는 코어셋 선택 문제를 하위모듈 최적화 문제로 변환하여, 이론적으로 최적성을 보장하는 효율적인 그레디언트 최적화를 가능하게 하며, CIFAR-10과 ImageNet-1K에서 최대 4배의 속도 향상을 달성하면서도 저항성과 이식 가능성은 유지한다.

ABSTRACT

Adversarial contrastive learning (ACL) does not require expensive data annotations but outputs a robust representation that withstands adversarial attacks and also generalizes to a wide range of downstream tasks. However, ACL needs tremendous running time to generate the adversarial variants of all training data, which limits its scalability to large datasets. To speed up ACL, this paper proposes a robustness-aware coreset selection (RCS) method. RCS does not require label information and searches for an informative subset that minimizes a representational divergence, which is the distance of the representation between natural data and their virtual adversarial variants. The vanilla solution of RCS via traversing all possible subsets is computationally prohibitive. Therefore, we theoretically transform RCS into a surrogate problem of submodular maximization, of which the greedy search is an efficient solution with an optimality guarantee for the original problem. Empirically, our comprehensive results corroborate that RCS can speed up ACL by a large margin without significantly hurting the robustness transferability. Notably, to the best of our knowledge, we are the first to conduct ACL efficiently on the large-scale ImageNet-1K dataset to obtain an effective robust representation via RCS. Our source code is at https://github.com/GodXuxilie/Efficient_ACL_via_RCS.

연구 동기 및 목표

• 매 에포크마다 모든 훈련 데이터에 대해 적대적 변형을 생성해야 하는 고비용인 적대적 대비 학습(ACL)의 계산 비용을 해결하기 위해.
• 레이블 정보가 필요 없이 ACL을 가속화할 수 있는 코어셋 선택 방법을 개발하여, 비지도 사전 훈련에의 적용 가능성을 확보하기 위해.
• 표현 분산을 최소화하는 것이 저항성 표현 품질의 대체 지표가 되도록 하기 위해.
• 이론적으로 탄탄한 하위모듈 최적화 기반의 효율적인 코어셋 선택 솔루션을 제공하고 최적성 보장을 확보하기 위해.
• 대규모 ImageNet-1K 데이터셋에서 코어셋 선택을 활용한 ACL의 첫 성공적 응용을 입증하기 위해.

제안 방법

• RCS는 자연 데이터의 표현과 그 가상의 적대적 변형의 표현 간 거리로 정의된 표현 분산(RD)을 최소화하는 방식으로 코어셋 선택을 공식화한다.
• 문제는 이론적으로 단조성과 γ-약한 하위모듈성을 갖는 서브스티튜션 최적화 문제로 변환되어, 이론적 최적성 한계를 보장하는 그레디언트 선택이 가능해진다.
• 가상의 적대적 훈련을 사용하여 레이블 없이도 변형을 생성하고, 그레디언트 알고리즘을 적용하여 코어셋을 선택한다.
• 사전 훈련 중 반복적으로 적용되며, 표현이 변화하는 것을 반영하기 위해 매 10 에포크마다 코어셋 재선택을 수행한다.
• 비지도 ACL과 지도 적대적 훈련(SAT) 양쪽 모두와 호환되어 사전 훈련 파라다임 전반에 걸쳐 넓은 적용 가능성을 보인다.
• 이론적 분석(정리 1 및 2)은 그레디언트 솔루션의 하위모듈 구조와 최적성 보장을 입증한다.

실험 결과

연구 질문

• RQ1 레이블 없는 코어셋 선택 방법이 저항성에 영향을 주지 않으면서도 적대적 대비 학습을 효과적으로 가속화할 수 있는가?
• RQ2 ACL을 위한 코어셋 선택을 하위모듈 최적화 문제로 공식화할 수 있으며, 이론적 보장을 갖출 수 있는가?
• RQ3 RCS는 ImageNet-1K와 같은 대규모 데이터셋에서 효율적인 적대적 사전 훈련을 가능하게 할 수 있는가?
• RQ4 RCS는 랜덤 코어셋 선택 대비 저항성 이식 가능성과 훈련 효율성 측면에서 어떻게 비교되는가?
• RQ5 RCS는 지도 및 비지도 환경 모두에서 사전 훈련된 모델의 이식 가능성 유지 여부는 어떠한가?

주요 결과

• CIFAR-10과 ImageNet-1K에서 RCS는 전체 ACL 대비 훈련 시간을 최대 4배 가속화하면서도 저항성 손실를 최소화한다.
• ImageNet-1K에서 RCS는 코어셋을 활용한 적대적 대비 학습의 첫 성공적 응용을 가능하게 하여 대규모에서 저항성 표현을 달성하였다.
• CIFAR-10에서 RCS는 5%의 부분집합 비율로 선형 프로빙을 통해 표준 테스트 정확도 92.68%를 달성했으며, 랜덤 선택(85.72%)을 뛰어넘고 전체 사전 훈련(93.53%)과 유사한 성능을 보였다.
• 지도 적대적 훈련(SAT)의 경우 RCS는 10% 부분집합 비율로 CIFAR-100에서 SFF 정확도 97.82%를 달성했으며, 랜덤 선택(95.60%)을 뛰어넘고 전체 SAT(98.09%)에 근접하였다.
• RCS는 강력한 저항성 이식 가능성을 유지하여, ImageNet-1K에서 5% 코어셋으로 사전 훈련한 후 CIFAR-100에서 AutoAttack 하에 75.35%의 저항성 정확도를 달성하였다.
• 이 방법은 비지도 ACL과 지도 SAT 양쪽 모두와 호환되어 사전 훈련 철학 전반에 걸쳐 넓은 적용 가능성을 입증하였다.