[논문 리뷰] Generalizing to Unseen Domains: A Survey on Domain Generalization

Jindong Wang, Cuiling Lan외 7명|arXiv (Cornell University)|2021. 03. 02.

Domain Adaptation and Few-Shot Learning인용 수 96

한 줄 요약

도메인 일반화(DG)에 대한 종합 조사: 형식적 정의, 이론, 알고리즘 분류체계, 데이터셋, 응용 및 향후 연구 방향, 오픈 소스 코드베이스인 DeepDG를 포함.

ABSTRACT

Machine learning systems generally assume that the training and testing distributions are the same. To this end, a key requirement is to develop models that can generalize to unseen distributions. Domain generalization (DG), i.e., out-of-distribution generalization, has attracted increasing interests in recent years. Domain generalization deals with a challenging setting where one or several different but related domain(s) are given, and the goal is to learn a model that can generalize to an unseen test domain. Great progress has been made in the area of domain generalization for years. This paper presents the first review of recent advances in this area. First, we provide a formal definition of domain generalization and discuss several related fields. We then thoroughly review the theories related to domain generalization and carefully analyze the theory behind generalization. We categorize recent algorithms into three classes: data manipulation, representation learning, and learning strategy, and present several popular algorithms in detail for each category. Third, we introduce the commonly used datasets, applications, and our open-sourced codebase for fair evaluation. Finally, we summarize existing literature and present some potential research topics for the future.

연구 동기 및 목표

• 도메인 일반화를 정의하고 관련 분야(예: 도메인 적응, 전이 학습)와의 차이를 구분한다.
• DG에 관련된 이론적 기초와 일반화 한계를 조사한다.
• 데이터 조작, 표현 학습, 학습 전략으로 DG 알고리즘을 분류하고 분석한다.
• 일반적으로 사용되는 데이터셋과 응용을 논의하고 오픈 소스 평가 자원 DeepDG를 제공한다.
• DG의 향후 연구 방향과 잠재적 도전 과제를 개략적으로 제시한다.

제안 방법

• DG를 훈련 소스 도메인과 보이지 않는 대상 도메인으로 형식화한다.
• HΔH-발산(HΔH-divergence) 및 공변량 이동 분석과 같은 경계로 DG 이론을 도메인 적응과 연관 짓고 관련성을 검토한다.
• 데이터 조작, 표현 학습, 학습 전략으로 DG 방법의 분류를 제공하고 하위 범주를 제시한다.
• 도메인 불변 표현, 특성 분리, 인과관계에서 영감을 받은 접근법을 논의한다.
• DG 평가 및 실험을 위한 오픈 소스 코드베이스인 DeepDG를 소개한다.

Figure 1: Examples from the dataset PACS [ 2 ] for domain generalization. The training set is composed of images belonging to domains of sketch, cartoon, and art paintings. DG aims to learn a generalized model that performs well on the unseen target domain of photos.

실험 결과

연구 질문

• RQ1 DG를 특징짓는 형식적 정의와 관련 분야(예: 도메인 적응, 전이 학습)와의 관계는 무엇인가?
• RQ2 DG 일반화를 설명하는 이론적 경계는 무엇이며 실제로 어떻게 추정되는가?
• RQ3 DG 방법은 어떻게 범주화될 수 있으며 각 범주에서 대표적인 알고리즘은 무엇인가?
• RQ4 DG에 사용되는 데이터셋과 평가 프로토콜은 무엇이며 공정한 평가를 어떻게 촉진할 수 있는가?
• RQ5 DG의 유망한 미래 방향과 남은 과제는 무엇인가?

주요 결과

• DG는 서로 다른 분포를 가지는 여러 개의 라벨이 있는 소스 도메인에서 학습하여 본 적이 없는 대상 도메인으로 일반화하는 형태로 형식화된다.
• 이론적 DG 한계는 HΔH-divergence 및 공변량 이동과 같은 개념을 활용하며 도메인 불변 표현을 이끈다.
• DG 방법은 데이터 조작, 표현 학습, 학습 전략으로 분류되며 각 범주마다 다수의 영향력 있는 기법이 있다.
• 도메인 불변 표현과 특징 분리(feature disentanglement)는 DG 달성의 핵심 주제이며 다양한 커널, 적대적(Adversarial), 정규화 접근법이 있다.
• 공정한 평가를 지원하기 위해 DG 벤치마크와 데이터셋 전반에 걸쳐 평가를 가능하게 하는 오픈 소스 DeepDG 코드베이스가 제공된다.

Figure 2: Illustration of domain generalization. Adapted from [ 6 ] .