[논문 리뷰] The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning

Anders Andreassen, Yasaman Bahri외 2명|arXiv (Cornell University)|2021. 06. 30.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 21

한 줄 요약

이 논문은 피인식 모델의 피인식(Out-of-Distribution, OOD)에 대한 강건성의 진화를 미세조정 과정에서 조사하며, 사전학습된 모델이 일시적인 효과적 강건성(effective robustness, ER)을 보이며 중간 훈련 단계에 최고점에 도달하고 수렴 시점에 사라지는 것으로 드러났다. 내재적 분포 성능이 향상됨에도 불구하고 이러한 모델들은 OOD 데이터로의 일반화 능력을 상실함으로써, 현재의 방법들이 해결하지 못하는 미세조정 과정에서의 중요한 상충관계를 드러낸다.

ABSTRACT

Although machine learning models typically experience a drop in performance on out-of-distribution data, accuracies on in- versus out-of-distribution data are widely observed to follow a single linear trend when evaluated across a testbed of models. Models that are more accurate on the out-of-distribution data relative to this baseline exhibit "effective robustness" and are exceedingly rare. Identifying such models, and understanding their properties, is key to improving out-of-distribution performance. We conduct a thorough empirical investigation of effective robustness during fine-tuning and surprisingly find that models pre-trained on larger datasets exhibit effective robustness during training that vanishes at convergence. We study how properties of the data influence effective robustness, and we show that it increases with the larger size, more diversity, and higher example difficulty of the dataset. We also find that models that display effective robustness are able to correctly classify 10% of the examples that no other current testbed model gets correct. Finally, we discuss several strategies for scaling effective robustness to the high-accuracy regime to improve the out-of-distribution accuracy of state-of-the-art models.

연구 동기 및 목표

• 미세조정 과정 전반에 걸친 효과적 강건성(effective robustness, ER)의 동역학을 이해하는 것.
• 왜 사전학습된 모델은 일시적인 ER를 보이며, 반면 무작위 초기화된 모델은 그렇지 않은지 밝혀내는 것.
• 훈련 데이터의 특성—크기, 다양성, 예제 난이도—가 ER에 어떤 영향을 미치는지 조사하는 것.
• 재현 버퍼 또는 가중치 정규화와 같은 전략이 높은 내재적 분포 정확도에서 높은 ER을 유지하는 데 기여할 수 있는지 확인하는 것.
• 효과적 강건성을 확장하여 최신 기술 수준의 OOD 성능을 달성할 잠재력을 탐색하는 것.

제안 방법

• ImageNet과 CIFAR-10에서의 모델 미세조정 동안 체크포인트별로 ER을 경험적으로 추적하는 것.
• ER을 다양한 모델 간에 관찰된 내재적 분포(OOD) 성능 추세에 대한 선형적 관계에서의 이격도로 정의하는 것.
• CIFAR-10과 ImageNet 간의 다중 레이블 매핑을 사용해 공통 예측 헤드를 갖는 미세조정을 가능하게 하는 것.
• CIFAR-10 미세조정 중 ImageNet 데이터를 사용한 재현 버퍼를 적용해 지속적 학습을 시뮬레이션하는 것.
• 사전학습된 헤드 가중치를 유지하기 위해 L2 정규화를 도입하고, 그것이 ER에 미치는 영향을 평가하는 것.
• ER 곡선의 형태를 분석하고, 선형 적합의 기여도와 실제 이격도의 기여도로 분해하는 것.

실험 결과

연구 질문

• RQ1 왜 사전학습된 모델은 미세조정 중에 효과적 강건성을 보이다가도 수렴 시점에 이를 상실하는가?
• RQ2 데이터 특성—크기, 다양성, 예제 난이도—가 효과적 강건성의 발생에 어떤 영향을 미치는가?
• RQ3 재현 버퍼나 가중치 정규화와 같은 전략이 높은 내재적 분포 정확도에서 높은 효과적 강건성을 유지하는 데 기여할 수 있는가?
• RQ4 효과적 강건성을 보이는 모델의 예측은 표준 모델과 어떤 점에서 다를까?
• RQ5 왜 높은 내재적 분포 정확도를 달성하면서도 높은 ER을 유지하는 모델이 극히 드물게 나타나는가?

주요 결과

• 사전학습된 모델은 미세조정 과정에서 일시적인 효과적 강건성의 피크를 보이며, 수렴 시점에 이르러 이는 0으로 감소함에도 불구하고 내재적 분포 정확도는 증가한다.
• 효과적 강건성의 피크는 수렴 시점이 아니라 중간 정도의 정확도일 때 발생하며, 이는 내재적 분포와 OOD 성능 간의 상충관계를 시사한다.
• 효과적 강건성을 보이는 모델은 테스트 베드 내 다른 어떤 모델도 맞추지 못한 10%의 예제를 정확히 분류함으로써 고유한 일반화 능력을 입증한다.
• 효과적 강건성은 더 크고 더 다양한, 더 어려운 훈련 데이터 세트일수록 증가함을 보이며, 이는 데이터의 품질과 다양성이 핵심 요소임을 시사한다.
• 재현 버퍼와 사전학습된 가중치 주변의 L2 정규화는 높은 내재적 분포 정확도를 유지하지만, 높은 효과적 강건성을 유지하는 데 실패한다.
• ER 곡선의 형태는 로짓 공간에서의 선형 적합의 산물일 수 있지만, 실제 이격도 역시 훈련 과정에서 감소함을 보이며, 이는 OOD 일반화 능력의 실질적 손실을 시사한다.