[논문 리뷰] Understanding the Failure Modes of Out-of-Distribution Generalization

Vaishnavh Nagarajan, Anders Andreassen외 1명|arXiv (Cornell University)|2020. 10. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 59인용 수 50

한 줄 요약

이 논문은 OoD 일반화에서 ERM의 두 가지 근본적 실패 모드가 스퓨리어스 상관관계로 유도된 기하학적 및 통계적 왜곡임을 식별하고, 쉽게 학습되는 과제에서 ERM이 스퓨리어스 특징에 의존하는 이론적·실험적 분석을 제공한다. 또한 이 모드를 MNIST/CIFAR10 과제에서 검증하고 신경망에 대한 시사점을 탐구한다.

ABSTRACT

Empirical studies suggest that machine learning models often rely on features, such as the background, that may be spuriously correlated with the label only during training time, resulting in poor accuracy during test-time. In this work, we identify the fundamental factors that give rise to this behavior, by explaining why models fail this way {\em even} in easy-to-learn tasks where one would expect these models to succeed. In particular, through a theoretical study of gradient-descent-trained linear classifiers on some easy-to-learn tasks, we uncover two complementary failure modes. These modes arise from how spurious correlations induce two kinds of skews in the data: one geometric in nature, and another, statistical in nature. Finally, we construct natural modifications of image classification datasets to understand when these failure modes can arise in practice. We also design experiments to isolate the two failure modes when training modern neural networks on these datasets.

연구 동기 및 목표

• 도메인 일반화 설정과 ERM 기준선을 정의한다.
• 쉽게 학습되는 과제에서도 스퓨리어스 상관관계로 인해 ERM이 실패하는 경우를 식별한다.
• 기하학적 왜곡과 통계적 왜곡이라는 두 가지 실패 모드를 이론적으로 분리한다.
• MNIST/CIFAR10 및 신경망에서 실패 모드를 실증적으로 검증한다.
• 실패 메커니즘을 분리하기 위한 데이터셋 수정과 실험을 제공한다.

제안 방법

• 완전히 예측 가능한 불변 특징을 가진 쉽게 학습되는 과제에서 ERM 및 max-margin 트레이닝을 모델링한다.
• 쉽게 학습될 도메인 일반화 과제를 정의하기 위한 제약을 도입한다(완전히 예측 가능한 불변 특징, 동일한 불변 분포, 조건 독립성, 두 값의 spurious features, identity Phi).
• 기하학적 왜곡 하에서 spurious features가 max-margin 해에 미치는 영향을 보이는 경계(정리 스케치)를 이론적으로 도출한다.
• 로지스틱/지수 손실에서의 한정 시간 경사 하강 dynamics를 분석하여 통계적 왜곡을 드러낸다(수렴 경계).
• MNIST/CIFAR10과 유사한 과제에서 증가하는 노름 행동과 spurious-feature 의존성으로 기하학적 왜곡을 실증적으로 시연한다.
• 실험 재현을 위한 코드의 설명 및 참조를 제공한다.

실험 결과

연구 질문

• RQ1 완전히 예측 가능한 불변 특징에도 불구하고 왜 OoD에서 ERM이 일반화에 실패하는가?
• RQ2 스퓨리어스 특징 의존성을 촉발하는 근본적인 기하학적 및 통계적 요인은 무엇인가?
• RQ3 쉽게 학습되는 과제에서 ERM 실패가 발생할 수 있으며 어떤 제약 하에서인가?
• RQ4 이 실패 모드들은 선형 모델을 넘어 신경망에서 어떻게 나타나는가?
• RQ5 제안된 실패 모드에 대한 표준 데이터셋에서의 실증적 증거는 무엇인가?

주요 결과

• ERM이 불변 특징이 레이블을 완전히 결정하더라도 쉽게 학습되는 과제에서 spurious features에 의존할 수 있다.
• 보완적인 두 가지 실패 모드가 확인된다: 데이터 기하로부터 나타나고 더 많은 데이터에서 max-margin 노름이 증가하는 기하학적 왜곡과, finite-time gradient descent dynamics와 관련된 통계적 왜곡.
• 스퓨리어스 상관관계가 강해질수록 기하학적 왜곡은 max-margin 분류기가 스푸리어스 특징을 지름길로 사용하도록 몰아가 테스트 시 시프트에 대한 취약성을 증가시킨다.
• 유한 시간 경사 하강은 더 높은 spurious 상관관계일수록 spurious-feature 수렴이 느려짐을 보여주며 학습 역학의 통계적 왜곡을 드러낸다.
• MNIST- 및 CIFAR10 기반 과제와 FNNs, ResNets와 같은 네트워크에서의 실험 결과는 다양한 아키텍처에서 이러한 왜곡의 존재를 뒷받침한다.
• 또한 spurious 상관관계가 적용되지 않는 시나리오를 논의하고 OoD 실패에 대한 더 넓은 기하학적 해석을 제공한다.