[논문 리뷰] A survey on domain adaptation theory

Ievgen Redko, Emilie Morvant외 3명|arXiv (Cornell University)|2020. 04. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 18

한 줄 요약

이 종합 검토는 분포 이탈 상황에서 일반화 성능을 이해하기 위한 이론적 분석을 포괄적으로 제공한다. 분포 이탈은 학습 데이터와 테스트 데이터의 분포가 다를 때 발생하지만 학습 과제는 그대로 유지된다. 이 논문은 다양한 통계적 학습 프레임워크에서 최신의 학습 경계를 통합하여, 분포 이탈 상황에서의 일반화에 대한 통합된 이해를 제공한다.

ABSTRACT

All famous machine learning algorithms that comprise both supervised and semi-supervised learning work well only under a common assumption: the training and test data follow the same distribution. When the distribution changes, most statistical models must be reconstructed from newly collected data, which for some applications can be costly or impossible to obtain. Therefore, it has become necessary to develop approaches that reduce the need and the effort to obtain new labeled samples by exploiting data that are available in related areas, and using these further across similar fields. This has given rise to a new machine learning framework known as transfer learning: a learning setting inspired by the capability of a human being to extrapolate knowledge across tasks to learn more efficiently. Despite a large amount of different transfer learning scenarios, the main objective of this survey is to provide an overview of the state-of-the-art theoretical results in a specific, and arguably the most popular, sub-field of transfer learning, called domain adaptation. In this sub-field, the data distribution is assumed to change across the training and the test data, while the learning task remains the same. We provide a first up-to-date description of existing results related to domain adaptation problem that cover learning bounds based on different statistical learning frameworks.

연구 동기 및 목표

• 학습 데이터와 테스트 데이터 간의 분포 이탈 문제를 해결함으로써 표준 기계 학습 모델의 성능 저하를 완화하고자 한다.
• 새로운 도메인에서 레이블이 부여된 데이터가 비용이 많이 들거나 확보되지 않을 경우, 관련된 소스 도메인의 데이터를 활용하여 이러한 의존도를 줄이고자 한다.
• 도메인 적응 분야에서의 이론적 진전을 체계적으로 개괄하고, 일반화 경계에 중점을 두고자 한다.
• 통계적 학습 프레임워크 내에서 기존의 이론적 결과들을 통합하고 업데이트하고자 한다.
• 실제 세계의 데이터 분포 이탈 상황에서도 더 강건하고 일반화 능력이 뛰어난 모델 개발을 지원하고자 한다.

제안 방법

• 위험 최소화 및 일반화 경계 기반의 이론적 프레임워크를 포함하여 기존의 도메인 적응 이론적 프레임워크를 조사하고 분류한다.
• PAC-Bayes, 라데마처 복잡도, 그리고 비율 기반 경계와 같은 다양한 통계적 학습 철학에서 유도된 학습 경계를 분석한다.
• 공변량 이탈, 개념 이탈, 사전 확률 이탈 등 다양한 도메인 적응 설정 간의 이론적 결과를 비교한다.
• 다양한 이론적 접근에서의 통찰을 통합하여, 분포 이탈 상황에서의 일반화에 공통적으로 적용되는 원칙과 한계를 규명한다.
• 학습 데이터의 분포가 서로 다른 도메인 간 지식을 이동시키는 전이 학습 문제로 도메인 적응을 프레임워크화한다.
• 일반화 보장을 도출하는 데 있어 분포 간 산란 측정치(예: 도메인 이질성)의 역할을 강조한다.

실험 결과

연구 질문

• RQ1 분포 이탈 상황에서 도메인 적응의 일반화를 뒷받침하는 주요 이론적 프레임워크는 무엇인가?
• RQ2 PAC-Bayes, 라데마처 복잡도와 같은 다양한 통계적 학습 프레임워크는 도메인 적응에서 일반화 경계를 도출하는 데 어떻게 기여하는가?
• RQ3 기존의 도메인 적응 이론적 결과의 근본적인 가정과 한계는 무엇인가?
• RQ4 공변량 이탈 또는 개념 이탈과 같은 분포 이탈은 이론적 경계의 타당성과 날카기 정도에 어떻게 영향을 미치는가?
• RQ5 다양한 이론적 접근에서 도메인 적응에 대해 도출할 수 있는 통합 원칙은 무엇인가?

주요 결과

• PAC-Bayes, 라데마처 복잡도, 비율 기반 경계와 같은 이론적 프레임워크는 도메인 적응에서 일반화를 이해하는 데 엄밀한 기초를 제공한다.
• 도메인 적응에서의 일반화 경계는 소스 도메인과 타겟 도메인 간의 분포 간 산란 정도에 민감하게 반응한다.
• 이론적 분석 결과, 도메인 이질성을 최소화하면 레이블이 없는 타겟 데이터 조건에서도 더 날카운 경계를 달성할 수 있음을 보여준다.
• 기존의 이론적 분석은 도메인 간 특징 분포와 레이블 분포의 정렬 정도가 도메인 적응 모델의 성능에 결정적인 영향을 미친다는 것을 드러낸다.
• 진전이 있었음에도 불구하고, 이론적 보장은 종종 유계된 산란 또는 데이터에 특정한 구조적 제약 조건을 요구하는 강력한 가정에 의존한다.
• 이 검토는 복잡한 실세계의 분포 이탈에 대해 단순한 공변량 이탈을 초월하여 다루지 못하는 현재 이론의 격차를 규명한다.