[논문 리뷰] Domain Generalization: A Survey

Kaiyang Zhou, Ziwei Liu외 3명|arXiv (Cornell University)|2021. 03. 03.

Domain Adaptation and Few-Shot Learning인용 수 26

한 줄 요약

이 설문조사는 domain generalization (DG) 문제를 검토하고 DG를 정의하며, 이것을 관련 분야와 대조하고, 방법론, 데이터셷, 응용 분야를 분류하며, 평가와 향후 방향에 대해 논의한다.

ABSTRACT

Generalization to out-of-distribution (OOD) data is a capability natural to humans yet challenging for machines to reproduce. This is because most learning algorithms strongly rely on the i.i.d.~assumption on source/target data, which is often violated in practice due to domain shift. Domain generalization (DG) aims to achieve OOD generalization by using only source data for model learning. Over the last ten years, research in DG has made great progress, leading to a broad spectrum of methodologies, e.g., those based on domain alignment, meta-learning, data augmentation, or ensemble learning, to name a few; DG has also been studied in various application areas including computer vision, speech recognition, natural language processing, medical imaging, and reinforcement learning. In this paper, for the first time a comprehensive literature review in DG is provided to summarize the developments over the past decade. Specifically, we first cover the background by formally defining DG and relating it to other relevant fields like domain adaptation and transfer learning. Then, we conduct a thorough review into existing methods and theories. Finally, we conclude this survey with insights and discussions on future research directions.

연구 동기 및 목표

• domain generalization을 정의하고 이를 domain adaptation 및 transfer learning과 연관 짓는다.
• 다중 소스 및 단일 소스 DG 설정을 조사하고 타깃 데이터에 접근하지 못하는 상황에서 DG가 왜 중요한지 분석한다.
• DG 방법을 패러다임으로 분류하고 (도메인 정렬, 메타러닝, 데이터 증강, 앙상블, 자기지도학습, 해로운 표현 등) 그들의 요구사항(도메인 라벨 등)을 논의한다.
• 컴퓨터 비전, 음성, NLP, 의료 영상, RL에 걸친 일반적으로 사용되는 DG 데이터셋과 응용 분야를 요약한다.
• 평가 관행, 모델 선택의 함정, 향후 연구 방향에 대해 논의한다.

제안 방법

• DG 방법을 도메인 정렬(domain alignment), 메타러닝, 데이터 증강, 앙상블 학습, 자기지도 학습, 분리된 표현, 정규화, 강화 학습 기법 등의 범주로 정리한다.
• 정렬해야 할 대상(P(X), P(X|Y), P(Y|X))과 정렬 방법(모멘트, 대조 손실, KL 발산, MMD, 도메인-적대 학습)을 논의한다.
• 각 범주 아래의 대표 기술을 설명한다(예: 도메인 정렬을 위한 적대 학습, 도메인 시프트를 노출시키는 메타러닝, 스타일 전이 또는 학습된 증강, 도메인 특화 구성요소).
• 도메인 라벨이 필요한지 여부에 따라 다중 소스 DG인지 단일 소스 DG인지를 구분한다.
• OOD 일반화를 평가하기 위한 데이터셋, 평가 프로토콜(leave-one-domain-out), 지표(평균 대 최악의 경우) 등의 종합을 제공한다.

실험 결과

연구 질문

• RQ1 여러 소스 도메인에서 학습된 모델이 타깃 데이터 접근 없이 생소한 타깃 도메인으로 일반화할 수 있게 하는 메커니즘은 무엇인가?
• RQ2 정렬, 메타러닝, 증강, 앙상블, 자기지도학습 등 다양한 DG 패러다임이 도메인 간 분포 변화 처리에 어떻게 비교되는가?
• RQ3 DG 방법의 평가를 위한 모범 사례는 무엇이며 모델 선택 편향으로 인한 지나치게 낙관적인 주장를 피하는 방법은 무엇인가?
• RQ4 시각, 음향, NLP, 의료 영상, RL 전반에서 도메인 시프트와 DG 능력을 가장 잘 보여주는 데이터셋과 응용 분야는 무엇인가?
• RQ5 DG 개념을 전이 학습이나 제로샷 학습과 같은 관련 영역과 통합해 일반화를 향상시킬 수 있는 방법은 무엇인가?

주요 결과

• DG 연구는 소스 도메인 분포를 정렬하거나 도메인에 불변인 표현을 학습하는 것이 OOD 일반화를 향상시킬 수 있음을 보여준다.
• 메타러닝, 데이터 증강, 앙상블 전략은 학습 중 도메인 시프트를 노출시키거나 시뮬레이션하는 보완적 수단을 제공한다.
• 타깃 도메인 중 하나를 제거하는 검증(leaver-one-domain-out)과 평균 및 최악의 성능 보고와 같은 평가 관행은 편향된 결론을 피하기 위해 강조된다.
• DG 기법은 물체 인식, 시맨틱 분할, 인물 재식별, 음성 인식, NLP, 의료 영상, RL 등 다양한 응용 분야에 적용된다.
• 이 설문은 DG와 DA, TL, ZSL, RL 등 관련 분야 간의 미묘한 관계를 강조하고 향후 방향 및 잠재적 연구 격차를 논의한다.