[논문 리뷰] A survey on domain adaptation theory: learning bounds and theoretical guarantees

Ievgen Redko, Emilie Morvant외 3명|arXiv (Cornell University)|2020. 04. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 76인용 수 20

한 줄 요약

이 종합 검토는 분포 이탈 하에서 학습 한계와 일반화 보장을 중심으로 도메인 적응의 이론적 기초에 대한 종합적인 개요를 제공한다. 다양한 통계적 학습 프레임워크에서의 결과를 통합하여, 모델의 타겟 도메인에서의 성능이 소스 도메인과 타겟 도메인의 분포 및 레이블링 함수의 유사성에 의존하는 방식을 강조하며, 적응 가능성의 공식화와 열린 이론적 과제의 규명이라는 주요 기여를 이룬다.

ABSTRACT

All famous machine learning algorithms that comprise both supervised and semi-supervised learning work well only under a common assumption: the training and test data follow the same distribution. When the distribution changes, most statistical models must be reconstructed from newly collected data, which for some applications can be costly or impossible to obtain. Therefore, it has become necessary to develop approaches that reduce the need and the effort to obtain new labeled samples by exploiting data that are available in related areas, and using these further across similar fields. This has given rise to a new machine learning framework known as transfer learning: a learning setting inspired by the capability of a human being to extrapolate knowledge across tasks to learn more efficiently. Despite a large amount of different transfer learning scenarios, the main objective of this survey is to provide an overview of the state-of-the-art theoretical results in a specific, and arguably the most popular, sub-field of transfer learning, called domain adaptation. In this sub-field, the data distribution is assumed to change across the training and the test data, while the learning task remains the same. We provide a first up-to-date description of existing results related to domain adaptation problem that cover learning bounds based on different statistical learning frameworks.

연구 동기 및 목표

• 이행 학습의 핵심 하위 분야인 도메인 적응 분야의 통합적이고 최신의 이론적 진전 개요를 제공하기 위해.
• 다양한 통계적 학습 프레임워크에서의 학습 한계를 분석하여, 소스 도메인과 타겟 도메인 간의 분포 유사성이 학습 성능에 미치는 영향을 강조하기 위해.
• 도메인 적응 분야의 열린 이론적 문제를 규명하기 위해, 특히 공동 오차 추정 및 오픈 세트 및 이질적 설정으로의 확장 문제를 포함하기 위해.
• 이론적 통찰을 실제 적용 시 분포 이탈이 발생하는 환경에서의 실무적 과제와 연결하기 위해.

제안 방법

• 위험 최소화 및 이질성 기반 한계를 포함한 다양한 통계적 학습 프레임워크를 활용한 도메인 적응 이론적 결과에 대한 체계적 검토.
• 데이터 분포 이탈, 레이블링 함수, 타겟 데이터의 레이블링 가능 여부에 대한 가정에 기반한 이론적 보장의 분류.
• 소스 도메인과 타겟 도메인 오차 간의 직접적 연결을 측정하는 분포 이질성 및 레이블링 함수 유사성 측도를 통한 학습 한계 분석.
• 표준 도메인 적응, 이질적 전이 학습(HTL), 비지도 도메인 적응의 세 가지 핵심 학습 설정에 집중.
• 요약을 유지하기 위해 전체 증명 및 수학적 유도 과정을 생략하였으며, 깊이 있는 기술적 탐구를 위해 전체 책과 원본 논문에 대한 참조를 제공.
• 공동 오차 항의 일관된 추정 문제와 오픈 세트 및 이질적 도메인 적응을 위한 한계 부족 등 이론적 간극을 규명.

실험 결과

연구 질문

• RQ1 도메인 적응에서의 학습 한계는 분포 이탈 하에서 소스 도메인과 타겟 도메인 오차 간의 관계를 어떻게 공식화하는가?
• RQ2 다른 데이터 분포를 가진 타겟 도메인에 대해 소스 도메인의 지식을 성공적으로 적응하기 위해 필요한 이론적 조건은 무엇인가?
• RQ3 위험 최소화, 이질성 기반 한계 등 다양한 통계적 학습 프레임워크는 도메인 적응 일반화를 이해하는 데 어떻게 기여하는가?
• RQ4 공동 오차 추정 및 적응 가능성에 관해 현재의 도메인 적응 한계가 겪는 이론적 한계는 무엇인가?
• RQ5 오픈 세트 및 이질적 도메인 적응과 같은 새로운 설정으로 이론적 보장을 확장하는 데 남아 있는 열린 문제들은 무엇인가?

주요 결과

• 도메인 적응에서의 학습 한계는 소스 도메인과 타겟 도메인 간의 근본 분포 유사성과 레이블링 함수 유사성에 명시적으로 의존하며, 이는 핵심 이론적 트레이드오프를 형성한다.
• 이질적 전이 학습(HTL) 설정에서는 소스 학습 데이터가 제공되지 않기 때문에, 근본 분포 이질성 항목이 이론적 보장에 포함되지 않는다 — 오직 사전 학습된 가설만 존재한다.
• HTL에서의 적응 성공 여부는 소스 가설이 타겟 분포에서의 성능에 달려 있으며, 유리한 가정 하에 타겟 레이블 데이터가 소량일 경우에도 효과적인 학습이 가능하다.
• 대부분의 도메인 적응 한계와 달리, HTL 한계는 레이블이 있는 타겟 데이터가 학습자에게 제공되기 때문에 적응 가능성 항목을 포함하지 않는다.
• 주요 열린 문제 중 하나는 데이터 분포와 레이블링 분포의 병합 이질성을 측정하는 공동 오차 항의 일관된 추정이다. 이에 대해 유일한 이전 연구가 잠재적 해결책을 제시하였다.
• 오픈 세트 도메인 적응(클래스가 겹치지 않는 경우)과 이질적 도메인 적응(다른 입력 공간)과 같은 새로운 설정에 대해서는 이론적 분석이 거의 이루어지지 않았으며, 실무적 중요성은 증가하고 있음에도 불구하고.