[논문 리뷰] Unlabeled Data Improves Adversarial Robustness

Yair Carmon, Aditi Raghunathan외 3명|arXiv (Cornell University)|2019. 05. 31.

Adversarial Robustness in Machine Learning참고 문헌 58인용 수 73

한 줄 요약

이 논문은 반지도 학습(Self-training)을 통한 무라벨 데이터가 은닉적(적대적) 강건성을 크게 향상시킬 수 있음을 보여주며, 가우시안 모델에서의 이론적 결과와 CIFAR-10 및 SVHN에서의 실증적 결과를 통해 기존의 강건 방법들을 능가한다.

ABSTRACT

We demonstrate, theoretically and empirically, that adversarial robustness can significantly benefit from semisupervised learning. Theoretically, we revisit the simple Gaussian model of Schmidt et al. that shows a sample complexity gap between standard and robust classification. We prove that unlabeled data bridges this gap: a simple semisupervised learning procedure (self-training) achieves high robust accuracy using the same number of labels required for achieving high standard accuracy. Empirically, we augment CIFAR-10 with 500K unlabeled images sourced from 80 Million Tiny Images and use robust self-training to outperform state-of-the-art robust accuracies by over 5 points in (i) $\ell_\infty$ robustness against several strong attacks via adversarial training and (ii) certified $\ell_2$ and $\ell_\infty$ robustness via randomized smoothing. On SVHN, adding the dataset's own extra training set with the labels removed provides gains of 4 to 10 points, within 1 point of the gain from using the extra labels.

연구 동기 및 목표

• 무라벨 데이터를 활용할 수 있는 안정성 문제로서의 적대적 강건성을 고무한다.
• 가우시안 모델에서 표준 분류와 강건 분류 간의 샘플 복잡도 차이를 보이고, 그 차이를 무라벨 데이터가 메우는 방법을 보인다.
• 추정 라벨(pseudo-labels)과 강건 학습을 결합한 Robust Self-Training(RST)을 제안한다.
• 대규모 비라벨 데이터와 확률적 스무딩을 이용한 인증으로 CIFAR-10 및 SVHN에서 경험적 이득을 보인다.

제안 방법

• 고차원 가우시안 모델을 분석하여 무라벨 데이터의 유무에 따라 표준 학습과 강건 학습을 비교한다.
• 중간 모델이 비라벨 데이터를 라벨링하여 최종 강건 분류기를 구성하는 자기 학습을 적용한다.
• 라벨이 붙은 데이터와 가짜 라벨 데이터(pseudo-labeled data)를 결합한 강건 손실을 최소화하는 Robust Self-Training(RST)을 도입한다.
• 강화적 학습(PG) 또는 안정성 학습(랜덤화 스무딩)을 사용하여 강건성 목표를 근사한다.
• 500K 개의 비라벨 Tiny Images를 가진 CIFAR-10과 추가 비라벨 데이터를 가진 SVHN에서 평가하여 휴리스틱 강건성 및 인증된 강건성을 측정한다.

실험 결과

연구 질문

• RQ1 비라벨 데이터가 표준 분류와 강건 분류 간의 샘플 복잡도 차이를 줄이는가?
• RQ2 동일한 수의 라벨로 표준 정확도와 같은 수준의 강건 정확도를 달성할 수 있는가?
• RQ3 무라벨 데이터가 CIFAR-10과 SVHN에서 adversarial 및 인증 평가하에서 얼마나 많은 강건성 이득을 제공하는가?
• RQ4 무관한 비라벨 데이터와 비라벨 데이터의 양에 대해 Robust Self-Training의 민감도는 얼마나 되는가?
• RQ5 강건성 측면에서 Robust Self-Training이 다른 반지도 학습 및 데이터 증강 방법과 어떻게 비교되는가?

주요 결과

• 가우시안 모델에서, O(n0 ε^2 sqrt(d/n0)) 개의 비라벨 샘플과 n0 개의 라벨을 가진 자기 학습은 높은 강건 정확도를 달성하여 이전에 관찰되었던 차이를 메운다.
• CIFAR-10에서 500K 비라벨 Tiny Images를 이용한 강건 자기 학습은 최첨단 강건 정확도보다 5–7 포인트 이상 더 나은 적대적 강건성과 인증된 ℓ2/ℓ∞ 강건성을 향상시킨다.
• SVHN에서 추가 비라벨 데이터를 사용할 때 RST가 4–10 포인트의 강건 이득을 제공하며, 그 이익의 대부분은 가짜 라벨(pseudo-labels)에서 비롯되고(라벨은 추가 이익 거의 제공하지 않음).
• 강건 자기 학습은 VAT와 같은 다른 반지도 학습 방법보다 강건성 이득에서 더 나은 성능을 보일 수 있으며, 가짜 라벨 기반의 비라벨 데이터가 주로 개선을 주도한다.
• 비라벨 데이터를 활용한 안정성 학습을 통한 인증된 강건성은 강한 ℓ2 강건성과 경쟁력 있는 ℓ∞ 인증을 달성하며 표준 정확도 향상도 함께 얻는다.