[논문 리뷰] Towards a Theoretical Framework of Out-of-Distribution Generalization

Haotian Ye, Chuanlong Xie외 4명|arXiv (Cornell University)|2021. 06. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 60인용 수 41

한 줄 요약

이 논문은 가변성, 정보성, 확장 함수를 이용한 OOD 일반화를 위한 정량적 프레임워크를 제시하고, OOD 일반화 한계를 도출하며, 실험에서 OOD 정확도를 향상시키는 모델 선택 기준을 제안한다.

ABSTRACT

Generalization to out-of-distribution (OOD) data is one of the central problems in modern machine learning. Recently, there is a surge of attempts to propose algorithms that mainly build upon the idea of extracting invariant features. Although intuitively reasonable, theoretical understanding of what kind of invariance can guarantee OOD generalization is still limited, and generalization to arbitrary out-of-distribution is clearly impossible. In this work, we take the first step towards rigorous and quantitative definitions of 1) what is OOD; and 2) what does it mean by saying an OOD problem is learnable. We also introduce a new concept of expansion function, which characterizes to what extent the variance is amplified in the test domains over the training domains, and therefore give a quantitative meaning of invariant features. Based on these, we prove OOD generalization error bounds. It turns out that OOD generalization largely depends on the expansion function. As recently pointed out by Gulrajani and Lopez-Paz (2020), any OOD learning algorithm without a model selection module is incomplete. Our theory naturally induces a model selection criterion. Extensive experiments on benchmark OOD datasets demonstrate that our model selection criterion has a significant advantage over baselines.

연구 동기 및 목표

• 가용 도메인과 보지 못한 도메인 간의 관계를 특징 분포를 사용해 OOD 일반화로 형식화한다.
• 불변성과 학습 가능성을 정량화하기 위해 변이(variation), 정보성(informativeness), 확장(expansion) 함수를 도입한다.
• 확장 함수와 특징 변동성을 기반으로 OOD 일반화 오차의 상한 및 하한을 도출한다.
• 검증 정확도와 특징 변동성의 균형을 맞춘 모델 선택 기준을 제안하여 OOD 성능을 향상시킨다.
• 표준 OOD 데이터셋에 대한 실험으로 접근법을 시연하고 실제 세계 OOD 문제의 학습 가능성을 분석한다.

제안 방법

• 도메인 간 1차원 특징에 대한 분포 거리 ρ를 사용해 변이와 정보성을 정의한다.
• 가용 도메인과 보지 못한 도메인 간의 변화를 연결하기 위한 확장 함수 s(·)를 도입한다.
• 정보성 임계값을 주어진 상태에서 (s(·), δ)-학습 가능성의 존재로 OOD 학습 가능성을 형식화한다.
• 일반화 한계: 정규성 조건 하에서 err(f) ≤ O(s(Vsup(h, Eavail))^(α^2/(α+d)^2))를 도출한다.
• 선형 최상(top) 모델에 대한 한계를 특수화하여 선형 수렴 가능성을 보이며: err(f) ≤ O(s(Vsup(h, Eavail))).
• 검증 정확도와 특징 변동성 r0 · V를 결합한 모델 선택 알고리즘을 제안하여 Acc를 최적화한다.

실험 결과

연구 질문

• RQ1 훈련 도메인과 테스트 도메인이 다를 때 OOD 일반화를 어떻게 엄밀하게 특징화할 수 있는가?
• RQ2 특징 변동성과 정보성이 보지 못한 도메인에서 불변성을 유지하는 데 어떤 역할을 하는가?
• RQ3 확장 함수와 특징 변동성에 의존하는 OOD 일반화 오차에 대한 정량적 경계를 도출할 수 있는가?
• RQ4 검증 성능과 특징 변동성을 모두 고려해 OOD 성능을 예측하는 모델 선택이 개선될 수 있는가?

주요 결과

Env	A	C	P	S	avg	acc inc
PACS	88.72%	81.74%	96.83%	79.00%	86.57%	1.66% ↑
OfficeHome	65.76%	55.07%	75.20%	76.31%	68.09%	1.00% ↑
VLCS	97.81%	66.98%	69.50%	70.97%	76.32%	0.63% ↑

• 확장 함수 s(·)는 가용 도메인에서 모든 도메인으로의 특징 변동성이 얼마나 증가하는지 정량화하고, OOD 난이도를 결정한다.
• OOD 일반화 오차는 특징 변동성과 정보성과 관련된 양으로 상한 및 하한이 정해지며, 변동성이 작아질수록 경계가 촘촘해진다.
• 정보성이 높고 가용 도메인에서 변동성이 낮은 특징의 경우 OOD 일반화가 향상되며 특정 조건에서 오차가 0에 가까워질 수 있다.
• 검증 정확도와 변동성 페널티를 결합한 모델 선택 기준이 다수의 OOD 벤치마크에서 정확도 만으로 선택하는 것보다 우수하다.
• Office-Home에서 학습 가능한 확장 함수를 확인할 수 있으며, δ(정보성 임계값)를 높이면 확장 함수가 감소하고 학습 가능성이 높아진다.
• PACS와 OfficeHome에서 제안된 선택 방법이 검증-정확도 기반 선택보다 더 높은 OOD 정확도를 달성하는 것으로 나타났다.