[논문 리뷰] Assaying Out-Of-Distribution Generalization in Transfer Learning

Florian Wenzel, Andrea Dittadi외 10명|arXiv (Cornell University)|2022. 07. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 117인용 수 26

한 줄 요약

이 논문은 transfer learning에서 OOD 강건성에 대한 대규모의 통합 연구를 수행하여 아키텍처, 미세조정, 증강이 172개의 ID–OOD 데이터세트 쌍, 31k 모델, 9 아키텍처에 걸친 OOD 성능에 어떤 영향을 미치는지 평가한다.

ABSTRACT

Since out-of-distribution generalization is a generally ill-posed problem, various proxy targets (e.g., calibration, adversarial robustness, algorithmic corruptions, invariance across shifts) were studied across different research programs resulting in different recommendations. While sharing the same aspirational goal, these approaches have never been tested under the same experimental conditions on real data. In this paper, we take a unified view of previous work, highlighting message discrepancies that we address empirically, and providing recommendations on how to measure the robustness of a model and how to improve it. To this end, we collect 172 publicly available dataset pairs for training and out-of-distribution evaluation of accuracy, calibration error, adversarial attacks, environment invariance, and synthetic corruptions. We fine-tune over 31k networks, from nine different architectures in the many- and few-shot setting. Our findings confirm that in- and out-of-distribution accuracies tend to increase jointly, but show that their relation is largely dataset-dependent, and in general more nuanced and more complex than posited by previous, smaller scale studies.

연구 동기 및 목표

• 전 달 실행 가능한 다운스트림 작업들에서 OOD 강건성에 대한 통일된 평가의 필요성을 동기화한다.
• 일관된 실험 프로토콜 하에서 아키텍처 유형, 미세조정 전략, 증강 방법을 체계적으로 비교한다.
• 다양한 이동(shift) 전반에서 ID 정확도와 OOD 성능 간의 관계를 정량화한다.
• ID 정확도를 넘어서는 일반적인 강건성 메트릭의 정보성이 OOD 강건성을 예측하는 데 얼마나 유용한지 평가한다.

제안 방법

• 10개의 작업에서 공유 라벨을 가진 36개 데이터세트를 아우르는 172쌍의(ID, OOD) 데이터세트를 구성한다.
• 고정된 다운스트림 전이 프로토콜과 단일 GPU 학습을 사용하여 9가지 아키텍처로 31k개의 모델을 미세조정한다.
• 정확도, NLL, 교정 오차, 적대적 강건성 등 6가지 메트릭을 사용하여 ID, OOD, 손상된 데이터 데이터를 평가한다.
• 두 가지 미세조정 전략(전체 모델 대 헤드-전용)과 세 가지 증강 규칙(증강 없음, RandAugment, AugMix)을 비교한다.
• ID 데이터에서 OOD 데이터로의 메트릭 전이 가능성과 데이터셋/작업 변화에 따른 결과 의존도를 분석한다.

실험 결과

연구 질문

• RQ1 단일 데이터세트만 있을 때 OOD 강건성의 좋은 대리 지표는 무엇인가?
• RQ2 아키텍처 선택과 미세조정 전략이 전이 학습에서 분포 이동에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 ID 정확도 외의 일반적인 강건성 메트릭은 OOD 성능에 대해 의미 있는 정보를 제공하는가?
• RQ4 작업 간에 ID와 OOD 정확도 사이에 일관된 선형 관계가 존재하는가, 아니면 작업 의존적인가?
• RQ5 상류(ImageNet) 강건성 발견이 다운스트림 OOD 강건성에 얼마나 잘 일반화되는가?

주요 결과

• ID 정확도가 작업이나 이동에 관계없이 OOD 강건성의 가장 강력한 예측 변수이다.
• held-out OOD 데이터에서의 정확도 평가가 다운스트림 OOD 성능을 더 강하게 예측한다.
• ID 데이터의 보정(calibration) 및 불변성(invariance) 메트릭은 OOD-heldout 데이터가 없으면 OOD 설정으로 잘 전이되지 않으며, 특정 조건에서 불변성 지표가 보정과 관련이 있을 수 있다.
• ID 정확도를 조정할 때 합성 손상은 자연 분포 이동에 대한 예측 가치를 제한적으로 제공하지만, 손상된 보정은 OOD 보정에 정보를 줄 수 있다.
• 증강은 ID 및 OOD 성능을 모두 향상시키며, 특히 데이터가 적은 상황에서 효과적이다; 전체 데이터에서의 미세조정이 일반적으로 헤드-전용 미세조정보다 우수하지만, 데이터가 부족한 경우 헤드-전용이 유리할 수 있다.
• 아키텍처 선택(예: ViT 계열 대 DeiT/Swin)이 OOD 성능에 영향을 주며, 전이 최적화된 모델은 ID와 OOD 차이에서 차이를 보일 수 있어 강건성에 아키텍처가 중요함을 시사한다.