[논문 리뷰] Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization

J. J. Miller, Rohan Taori외 7명|arXiv (Cornell University)|2021. 07. 09.

Domain Adaptation and Few-Shot Learning인용 수 30

한 줄 요약

논문은 많은 모델, 데이터세트 및 분포 변화에 걸쳐 분포 내 정확도와 분포 외 정확도 사이에 강력하고 대체로 선형인 상관관계를 실증적으로 보여주고, 현상을 설명하기 위한 간단한 가우시안 기반 이론을 제공합니다.

ABSTRACT

For machine learning systems to be reliable, we must understand their performance in unseen, out-of-distribution environments. In this paper, we empirically show that out-of-distribution performance is strongly correlated with in-distribution performance for a wide range of models and distribution shifts. Specifically, we demonstrate strong correlations between in-distribution and out-of-distribution performance on variants of CIFAR-10 & ImageNet, a synthetic pose estimation task derived from YCB objects, satellite imagery classification in FMoW-WILDS, and wildlife classification in iWildCam-WILDS. The strong correlations hold across model architectures, hyperparameters, training set size, and training duration, and are more precise than what is expected from existing domain adaptation theory. To complete the picture, we also investigate cases where the correlation is weaker, for instance some synthetic distribution shifts from CIFAR-10-C and the tissue classification dataset Camelyon17-WILDS. Finally, we provide a candidate theory based on a Gaussian data model that shows how changes in the data covariance arising from distribution shift can affect the observed correlations.

연구 동기 및 목표

• 다양한 데이터셋과 모델에 걸쳐 분포 외 일반화가 분포 내 성능으로 예측될 수 있는지 조사한다.
• 정확한 선형 ID-OOD 추세가 나타나는 경우와 서로 다른 분포 변화에서 실패하는 경우를 특징지운다.
• 하이퍼파라미터, 학습 기간, 데이터 크기, 사전학습에 대한 ID-OOD 상관관계의 강건성을 평가한다.
• 관찰된 상관관계를 설명하고 향후 이론을 안내하는 간단한 가우시안 모델을 제시한다.

제안 방법

• 다양한 아키텍처, 하이퍼파라미터, 시드 및 학습 설정을 가진 분포 내 데이터 D에서 광범위한 모델(고전적 및 신경망)을 학습한다.
• 각 모델을 ID(D)와 분포 외(D′) 테스트 세트에서 평가하고, 선형 경향을 드러내기 위해 프로빗 변환 산점도로 시각화한다.
• 다양한 ID/OOD 쌍에서 프로빗 도메인으로의 선형성 정도를 R^2로 정량화한다(예: CIFAR-10, CIFAR-10.2, CINIC-10, STL-10, ImageNet, ImageNet-V2, YCB-Objects, FMoW-WILDS, iWildCam-WILDS).
• 사전학습 및 제로샷 추론이 ID-OOD 관계에 미치는 영향을 검토한다.
• 변환된 정확도 간의 거의 선형 관계를 도출하고 편차에 영향을 주는 요인을 식별하기 위해 간단한 가우시안 데이터 모델을 개발한다.

실험 결과

연구 질문

• RQ1 다양한 데이터세트와 분포 변화에 걸쳐 분포 내 정확도가 분포 외 정확도를 선형으로 예측하는가?
• RQ2 모델 아키텍처, 하이퍼파라미터, 학습 기간, 학습 데이터 크기에 대해 ID-OOD 선형 관계가 얼마나 강건한가?
• RQ3 사전학습은 ID-OOD 관계에서 어떤 역할을 하며 제로샷 추론은 어떻게 영향을 미치는가?
• RQ4 선형 추세가 실패하거나 약화되는 조건은 무엇이며 그 이유는 무엇인가?

주요 결과

• 많은 데이터세트/모델 쌍에서 ID와 OOD 정확도 간의 정밀한 선형 추세가 존재하며, 몇 가지 변화에 대해 프로빗 도메인에서 R^2 값이 약 0.98~0.997 사이이다.
• 선형 관계가 클래식 및 신경망 계열의 다수의 모델 패밀리, 아키텍처, 하이퍼파라미터, 학습 기간 및 학습 집합 크기에 걸쳐 유지된다.
• 사전학습은 작업과 설정에 따라 ID-OOD 추세를 유지하거나 바꿀 수 있다(예: CIFAR-10.2 및 FMoW-WILDS는 추세와 맞아떨어지지만 iWildCam-WILDS는 사전학습 모델에서 편차를 보인다).
• 사전학습된 모델을 사용한 제로샷 예측은 기본 선형 추세에서 벗어나 x = y에 더 가까운 선으로 이동하는 경향이 있어, ID 학습만으로 인한 편향이 아니라 사전학습의 영향을 시사한다.
• 일부 변화에서는 정밀한 선형 추세가 약하거나 보이지 않는 경우가 있다(예: Camelyon17-WILDS 조직 분류 및 CIFAR-10-C의 가우시안 노이즈 같은 일부 왜곡), 현상의 한계를 강조한다.
• 간단한 가우시안 데이터 모델이 기울기 α/γ를 갖는 거의 선형인 프로빗 관계를 설명하고 차원이 커질수록 편차가 축소됨을 보여, ID-OOD 상관에 대한 공분산 기반 직관을 뒷받침한다.