[논문 리뷰] Out of Distribution Generalization in Machine Learning

Martín Arjovsky|arXiv (Cornell University)|2021. 03. 03.

Machine Learning and Algorithms참고 문헌 68인용 수 50

한 줄 요약

OOD 일반화에 대한 포괄적 고찰 및 프레임워크로, ML에서의 강건성, 불변성, 인과적 관점에 초점을 맞추고, IRM 및 도메인별 논의를 포함합니다.

ABSTRACT

Machine learning has achieved tremendous success in a variety of domains in recent years. However, a lot of these success stories have been in places where the training and the testing distributions are extremely similar to each other. In everyday situations when models are tested in slightly different data than they were trained on, ML algorithms can fail spectacularly. This research attempts to formally define this problem, what sets of assumptions are reasonable to make in our data and what kind of guarantees we hope to obtain from them. Then, we focus on a certain class of out of distribution problems, their assumptions, and introduce simple algorithms that follow from these assumptions that are able to provide more reliable generalization. A central topic in the thesis is the strong link between discovering the causal structure of the data, finding features that are reliable (when using them to predict) regardless of their context, and out of distribution generalization.

연구 동기 및 목표

• 다양한 문제와 응용에서 out-of-distribution generalization(OOD)가 무엇을 의미하는지 명확히 한다.
• 다양한 환경에서 OOD 성능을 정량화하고 비교할 수 있는 프레임워크를 제시한다.
• 강건 최적화, 도메인 적응, 불변성 등 기존 방법을 조사하고 그들의 기본 가정을 분석한다.
• 일관성 있고 불변한 특징이 일반화 달성에 미치는 역할을 강조하고 현재 접근법의 한계를 식별한다.

제안 방법

• OOD 위험이 환경 집합 전체에서의 최악의 위험인 ROOD(f)=max_e R^e(f)인 프레임워크를 도입한다.
• 훈련 환경과 E_train이 더 넓은 환경 집합 E_all과 관련될 필요성을 논의한다.
• 허위상관관계가 OOD 성능에 어떤 영향을 미치는지 보여주는 동기 있는 예제를 제공한다.
• 경험적 위험 최소화(ERM), 강건 최적화, 그리고 Wasserstein/KL 강건성 간의 연결을 고찰한다.
• Invariant Risk Minimization(IRM)과 그 비선형 변형들을 환경 간의 불변성을 강제하는 방법으로 개발하고 참조한다.
• 로봇공학, 비전, NLP, 공정성 영역에서의 도메인별 사례 연구와 실용적 함의를 개관한다.

실험 결과

연구 질문

• RQ1 다른 문제들 간에 out-of-distribution 일반화를 어떻게 정량화하고 비교할 수 있는가?
• RQ2 다양한 OOD 방법(강건 최적화, 도메인 적응, 불변성)이 성공하거나 실패하는 가정은 무엇인가?
• RQ3 환경 간에 일반화를 돕는 불변 또는 인과적 특징의 역할은 무엇인가?
• RQ4 훈련 환경을 보지 못한 테스트 환경과 어떻게 연관지어 더 나은 OOD 성능을 달성할 수 있는가?
• RQ5 실세계 응용에서 OOD 일반화의 한계와 향후 방향은 무엇인가?

주요 결과

• 단일한 일반 OOD 방법은 존재하지 않으며 성능은 환경에 대한 문제별 가정에 의존한다.
• 환경별 최악의 위험에 기반한 프레임워크는 OOD 성능을 측정하는 체계적인 방법을 제공한다.
• IRM과 같은 불변성 기반 방법은 환경 간에 안정적인 예측자를 식별하는 것을 목표로 하여, 그러한 불변성이 존재할 때 일반화를 돕는다.
• 합성 데이터와 색상 MNIST 실험 등에서 허위 상관관계와 강건성 문제를 보여주는 실증적 논의가 포함된다.
• 도메인별 관점에서 OOD 일반화 고찰이 로봇공학, 컴퓨터 비전, NLP, 공정성 설정에서 어떻게 다르게 나타나는지 보여준다.
• 현실적 가정의 타협과 OOD 일반화의 실용적 이득 사이의 균형을 강조한다.