[논문 리뷰] Improved OOD Generalization via Adversarial Training and Pre-training

Mingyang Yi, Lu Hou외 5명|arXiv (Cornell University)|2021. 05. 24.

Adversarial Robustness in Machine Learning참고 문헌 49인용 수 8

한 줄 요약

이 논문은 적대적 훈련과 사전 훈련을 활용하여 입력에 대한 강건성(robustness)을 향상시켜 기계 학습에서 분포 외(OOD) 일반화를 개선하는 방법을 제안한다. 이론적으로는 적대적 훈련을 통해 달성된 입력 강건성 모델이 OOD 데이터에서 더 잘 일반화됨을 입증하며, 초과 위험(excess risk)이 𝒪̃(1/√n + 1/T)으로 유계됨을 보였다. 실증적으로는 적대적 훈련 및 적대적으로 사전 훈련된 모델이 이미지 및 자연어 처리(NLP) 벤치마크에서 향상된 OOD 성능을 보였다.

ABSTRACT

Recently, learning a model that generalizes well on out-of-distribution (OOD) data has attracted great attention in the machine learning community. In this paper, after defining OOD generalization via Wasserstein distance, we theoretically show that a model robust to input perturbation generalizes well on OOD data. Inspired by previous findings that adversarial training helps improve input-robustness, we theoretically show that adversarially trained models have converged excess risk on OOD data, and empirically verify it on both image classification and natural language understanding tasks. Besides, in the paradigm of first pre-training and then fine-tuning, we theoretically show that a pre-trained model that is more robust to input perturbation provides a better initialization for generalization on downstream OOD data. Empirically, after fine-tuning, this better-initialized model from adversarial pre-training also has better OOD generalization.

연구 동기 및 목표

• 기계 학습에서 경험적 OOD 일반화의 이론적 이해 부족을 해결한다.
• 분포 이탈을 측정하기 위해 워셔스타인 거리(Wasserstein distance)를 사용하여 입력 강건성과 OOD 일반화 간의 관계를 탐구한다.
• 적대적 훈련이 입력 강건성을 향상시켜 OOD 일반화를 향상시킴을 입증한다.
• 피니튜닝 파라다임에서 하류 작업의 OOD 일반화를 위한 초기화를 향상시키기 위해 적대적 사전 훈련의 영향을 탐색한다.
• 이론적 주장들을 이미지 분류 및 자연어 이해 작업에서 광범위한 실험을 통해 검증한다.

제안 방법

• 훈련 데이터에서의 분포 이탈을 측정하기 위해 워셔스타인 거리(Wasserstein distance)를 사용하여 OOD 일반화를 정의한다.
• 이론적으로 입력 편향에 강건한 모델—즉, 입력 변화에 강건한 모델—이 OOD 데이터에서 잘 일반화됨을 증명한다.
• 적대적으로 훈련된 모델이 다단계 SGD에서 수렴 속도 𝒪̃(1/T)를 달성하며, 이로 인해 OOD 데이터에서 유계 초과 위험 𝒪̃(1/√n + 1/T)을 갖게 된다.
• 하류 OOD 일반화를 위한 초기화를 향상시키기 위해 적대적 사전 훈련을 제안한다.
• 표준 하이퍼파rameter를 사용하여 CIFAR10, ImageNet 및 BERT 기반 모델에 대해 ℓ₂ 및 ℓ∞ 편향을 포함한 적대적 훈련을 적용한다.
• OOD 일반화 평가에 대해 CIFAR10-C 및 ImageNet-C의 표준 평가 프로토콜을 사용하며, NLU 작업에는 GLUE 벤치마크를 사용한다.

실험 결과

연구 질문

• RQ1 적대적 훈련에 의해 유도된 입력 강건성이 OOD 일반화를 향상시키는가?
• RQ2 실제 OOD 데이터에서 이론적 초과 위험 유계 𝒪̃(1/√n + 1/T)를 검증할 수 있는가?
• RQ3 적대적 사전 훈련은 피니튜닝에서 하류 OOD 일반화를 위한 초기화를 향상시키는가?
• RQ4 적대적 훈련에서의 편향 크기가 OOD 일반화 성능에 어떤 영향을 미치는가?
• RQ5 표준 사전 훈련 목표(예: 마스킹된 언어 모델링)가 입력 강건성과 OOD 일반화에 어느 정도 기여하는가?

주요 결과

• CIFAR10-C 및 ImageNet-C에서 적대적 훈련이 OOD 일반화를 향상시키며, 다양한 오염 유형에서 정확도 향상이 관찰되었다.
• 이미지 분류 작업에서 ℓ₂ 및 ℓ∞ 편향을 포함한 적대적 훈련은 표준 훈련 대비 일관되게 OOD 정확도를 향상시켰다.
• SST-2, IMDB, MNLI, STS-B 등의 NLP 작업에서 표준 사전 훈련 후 적대적 피니튜닝을 적용하면 OOD 일반화 성능이 향상되었다.
• ImageNet에서의 적대적 사전 훈련은 더 나은 초기화를 이끌어내었으며, 이는 CIFAR10에서 피니튜닝 후 OOD 일반화 성능 향상으로 이어졌다.
• 작은 편향 크기에서 FOG, BRIGHT, CONTRAST 등의 오염에서 더 나은 OOD 성능를 기록하여 편향 크기의 민감성에 기인함을 시사했다.
• 표준 사전 훈련(예: 마스킹된 언어 모델링)은 입력 강건성을 증가시키며, 더 많은 데이터나 더 많은 스텝으로 사전 훈련한 모델일수록 OOD 일반화 성능이 향상됨을 보였다.