[논문 리뷰] Using Pre-Training Can Improve Model Robustness and Uncertainty

Dan Hendrycks, Kimin Lee외 1명|arXiv (Cornell University)|2019. 01. 28.

Fault Detection and Control Systems인용 수 429

한 줄 요약

사전 학습이 전통적 정확도를 항상 높이지는 않지만, 적대적 강건성, 라벨 노이즈 저항, 클래스 불균형 처리, OOD 탐지, 보정 등 강건성과 불확실성 추정치를 크게 향상시킨다.

ABSTRACT

He et al. (2018) have called into question the utility of pre-training by showing that training from scratch can often yield similar performance to pre-training. We show that although pre-training may not improve performance on traditional classification metrics, it improves model robustness and uncertainty estimates. Through extensive experiments on adversarial examples, label corruption, class imbalance, out-of-distribution detection, and confidence calibration, we demonstrate large gains from pre-training and complementary effects with task-specific methods. We introduce adversarial pre-training and show approximately a 10% absolute improvement over the previous state-of-the-art in adversarial robustness. In some cases, using pre-training without task-specific methods also surpasses the state-of-the-art, highlighting the need for pre-training when evaluating future methods on robustness and uncertainty tasks.

연구 동기 및 목표

• 사전 학습이 전통적 정확도를 넘어 강건성 및 불확실성에 도움이 되는지 동기 부여하고 조사한다.
• 사전 학습의 효과를 적대적 강건성, 라벨 오염, 및 클래스 불균형에 대해 정량화한다.
• 사전 학습된 표현을 사용했을 때 이상치 탐지와 보정의 개선 여부를 평가한다.

제안 방법

• 다운샘플링된 ImageNet에서 사전 학습을 수행하고, 때로는 CIFAR-10 관련 클래스를 제거한 뒤 대상 작업에 대해 미세 조정한다.
• 무목표 공격을 사용하여 적대적扰扰에 대한 강건성을 평가하고 적대적 학습 변형을 평가한다.
• 제어된 라벨 노이즈를 사용하여 라벨 오염에 대한 강건성을 평가하고 Forward Correction 및 Gold Loss Correction (GLC)과 비교한다.
• 멱법칙 데이터 분포를 사용하여 클래스 불균형에 대한 강건성을 평가하고, 사전 학습을 표준 기준과 비교한다.
• OOD 탐지 지표(AUROC, AUPR) 및 보정 오차(RMS, MAD)로 불확실성을 측정한다.
• 적대적 사전 학습이 분포 간에 강건한 특징을 이전의 최첨단보다 우수하게 전이시킬 수 있음을 시연한다.

실험 결과

연구 질문

• RQ1 사전 학습이 처음부터 학습하는 것보다 적대적 교란에 대한 강건성을 향상시키는가?
• RQ2 사전 학습이 라벨 노이즈와 클래스 불균형에 대한 강건성을 작업별 방법보다 더 효과적으로 개선할 수 있는가?
• RQ3 정확도 향상과 무관하게 사전 학습이 OOD 탐지 및 보정을 포함한 불확실성 추정치를 향상시키는가?

주요 결과

• 적대적 사전 학습은 CIFAR-10/100에서 이전 방법들보다 적대적 정확도에 약 10% 포인트의 절대적 이득을 제공합니다.
• 사전 학습은 라벨 오염 하에서 오차를 크게 감소시키며, 일부 설정에서 작업별 보정보다 우수할 수 있습니다.
• 사전 학습은 특히 소수 클래스에서 클래스 불균형에 대한 강건성을 크게 향상시키며, 여러 전문적 방법을 능가합니다.
• 사전 학습은 데이터셋 전반에서 OOD 탐지 지표(AUROC 및 AUPR)를 개선하여 더 나은 불확실성 추정치를 나타냅니다.
• 사전 학습은 보정 오차(RMS 및 MAD)를 크게 개선하며, CIFAR-100에서 더 큰 이득을 보이고 온도 조정 방법과의 호환성이 있습니다.
• 여러 경우에, 사전 학습된 모델이 추가 작업별 조정 없이도 최첨단 강건성/불확실성 벤치마크를 능가합니다.