[논문 리뷰] Towards Out-Of-Distribution Generalization: A Survey

Jiashuo Liu, Zheyan Shen외 5명|arXiv (Cornell University)|2021. 08. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 233인용 수 234

한 줄 요약

이 설문조사는 형식적으로 OOD 일반화의 정의를 제시하고, 학습 파이프라인 전반에 걸친 방법을 분류하며, 분포 변화 하에서 강건한 모델을 위한 데이터셋과 향후 방향을 조사합니다.

ABSTRACT

Traditional machine learning paradigms are based on the assumption that both training and test data follow the same statistical pattern, which is mathematically referred to as Independent and Identically Distributed ($i.i.d.$). However, in real-world applications, this $i.i.d.$ assumption often fails to hold due to unforeseen distributional shifts, leading to considerable degradation in model performance upon deployment. This observed discrepancy indicates the significance of investigating the Out-of-Distribution (OOD) generalization problem. OOD generalization is an emerging topic of machine learning research that focuses on complex scenarios wherein the distributions of the test data differ from those of the training data. This paper represents the first comprehensive, systematic review of OOD generalization, encompassing a spectrum of aspects from problem definition, methodological development, and evaluation procedures, to the implications and future directions of the field. Our discussion begins with a precise, formal characterization of the OOD generalization problem. Following that, we categorize existing methodologies into three segments: unsupervised representation learning, supervised model learning, and optimization, according to their positions within the overarching learning process. We provide an in-depth discussion on representative methodologies for each category, further elucidating the theoretical links between them. Subsequently, we outline the prevailing benchmark datasets employed in OOD generalization studies. To conclude, we overview the existing body of work in this domain and suggest potential avenues for future research on OOD generalization. A summary of the OOD generalization methodologies surveyed in this paper can be accessed at http://out-of-distribution-generalization.com.

연구 동기 및 목표

• 형식적으로 Out-of-Distribution 일반화 문제와 그것의 i.i.d. 학습과의 관계를 특징짓다.
• 학습 파이프라인에서의 위치에 따라 OOD 방법을 분류한다: 비감독 표현 학습, 감독 모델 학습, 그리고 최적화.
• 도메인 적응, 도메인 일반화, 연합 학습, 그리고 OOD 탐지와 같은 관련 주제와의 연결에 대해 논의한다.
• 향후 OOD 일반화 연구를 이끌기 위한 대표적 방법론과 벤치마크를 조사한다.

제안 방법

• OOD 문제를 P_tr(X,Y) ≠ P_te(X,Y)이며 학습 중에 알 수 없다고 정의한다.
• 방법을 세 가지 파이프라인 기반 범주로 분류한다: 비감독 표현 학습, 감독 모델 학습, 그리고 최적화.
• 각 범주의 대표적 접근법을 논의한다. 불변성, 인과 학습, 안정적 학습, 분포 강건 최적화 등을 포함하여.
• 인과성과 불변성 관점들을 통해 방법들 간의 이론적 연결고리를 제시한다.
• 분포 변이 시나리오를 위한 벤치마크 데이터셋과 평가 고려사항을 검토한다.

실험 결과

연구 질문

• RQ1 어떤 형식적 정의가 Out-of-Distribution 일반화 문제와 i.i.d. 학습과의 관계를 가장 잘 포착하는가?
• RQ2 학습 파이프라인에서의 역할에 따라 방법들을 어떻게 분류하여 분포 변화를 다룰 수 있는가?
• RQ3 각 범주(비감독, 감독, 최적화) 내에서 OOD 일반화를 개선하는 핵심 기술은 무엇인가?
• RQ4 도메인 적응, 도메인 일반화 및 관련 주제들은 OOD 일반화와 어떻게 연결되어 있는가?
• RQ5 어떤 벤치마크와 지표가 OOD 일반화 성능을 가장 잘 평가하는가?

주요 결과

• 이 설문은 형식적 문제 정의를 제공하고 공변량 변화와 개념 변화의 차이를 명확히 한다.
• 이는 OOD 방법을 비감독 표현 학습, 감독 모델 학습, 그리고 최적화로 분류하고 자세한 하위 범주를 제시한다.
• 불변 학습과 인과 탐지가 분포 견고성을 달성하기 위한 핵심 전략으로 강조된다.
• 환경 라벨, 이질성, 개입 기반 관점의 역할이 OOD 일반화를 개선하는 데 논의된다.
• OOD 일반화에 대한 벤치마크 데이터셋과 평가 프레임워크가 요약되어 향후 연구를 이끈다.