[논문 리뷰] Domain Generalization by Marginal Transfer Learning

Gilles Blanchard, Aniket Anand Deshmukh외 3명|arXiv (Cornell University)|2017. 11. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 101인용 수 146

한 줄 요약

논문은 도메인 일반화를 특징의 주변 분포를 포함하는 확장된 특징 공간에서의 감독 학습으로 재해석하고, 두 가지 데이터 생성 모델 아래 분석된 보편적으로 일관된 커널 방법을 제안하며 합성 데이터와 실제 데이터에서 검증한다.

ABSTRACT

In the problem of domain generalization (DG), there are labeled training data sets from several related prediction problems, and the goal is to make accurate predictions on future unlabeled data sets that are not known to the learner. This problem arises in several applications where data distributions fluctuate because of environmental, technical, or other sources of variation. We introduce a formal framework for DG, and argue that it can be viewed as a kind of supervised learning problem by augmenting the original feature space with the marginal distribution of feature vectors. While our framework has several connections to conventional analysis of supervised learning algorithms, several unique aspects of DG require new methods of analysis. This work lays the learning theoretic foundations of domain generalization, building on our earlier conference paper where the problem of DG was introduced (Blanchard et al., 2011). We present two formal models of data generation, corresponding notions of risk, and distribution-free generalization error analysis. By focusing our attention on kernel methods, we also provide more quantitative results and a universally consistent algorithm. An efficient implementation is provided for this algorithm, which is experimentally compared to a pooling strategy on one synthetic and three real-world data sets.

연구 동기 및 목표

• 새로운 작업에 대한 레이블이 없는 상태에서 다수의 관련되나 분포적으로 서로 다른 작업들에 걸쳐 예측 모델을 일반화하려는 동기.
• 표준 감독 학습 기법을 가능하게 하기 위해 확장된 특징에 X의 주변 분포를 추가하는 marginal transfer learning 프레임워크의 제안.
• 도메인 일반화를 위한 두 가지 통계적 생성 모델의 개발 및 관련 위험 및 일반화 분석.
• 확장된 공간에서 분포 비의존적 커널 방법의 구성과 두 모델 모두에서의 보편적 일관성의 시연.

제안 방법

• 보이지 않는 작업에 대한 예측을 생성하기 위해 증강 입력 (P_X, x)에서 학습으로 도메인 일반화를 형식화한다.
• AGM(agnostic generative model)과 2SGM(two-stage generative model)에 대응하는 두 가지 위험 측정의 정의.
• AGM 설정에서 Rademacher/ Campbell-측정 프레임워크를 이용한 분포 비의존적 일반화 상한 도출.
• AGM 및 2SGM 모두에서 보편적 일관성 보장을 갖는 확장된 특징 공간 위의 커널 머신 도입.
• 랜덤 푸리에 특징의 확장을 기반으로 한 효율적 구현 및 랜덤 특징 근사 오차 분석.
• 하나의 합성 데이터셋과 세 개의 실제 데이터셋에 대한 실증 평가, 풀링 기반 기준선과의 비교 및 공개 코드 제공.

실험 결과

연구 질문

• RQ1 특징의 주변 분포를 입력에 보강하여 표준 감독 학습 문제를 형성함으로써 도메인 일반화를 다룰 수 있는가?
• RQ2 다양한 데이터 생성 가정하에서 이러한 확장 공간 방법의 일반화 보장과 위험 한계는 무엇인가?
• RQ3 AGM과 2SGM 모두에서 DG를 위한 보편적 일관성을 갖는 커널 기반 알고리즘이 존재하는가?
• RQ4 합성 및 실제 도메인 일반화 작업에서 제안된 방법이 풀링 전략에 비해 어떻게 성능하는가?

주요 결과

• Marginal Transfer Learning 관점은 DG를 X의 주변 분포를 포함하는 확장 공간에서의 감독 학습 문제로 재구성한다.
• 저자들은 AGM 및 2SGM 모두에서 커널 기반 DG 방법에 대한 분포 비의존적 일반화 상한과 보편적 일관성을 확립한다.
• 랜덤 푸리에 특징을 이용한 효율적인 커널 구현이 제공되고 근사 오차에 대해 분석된다.
• 제안된 방법은 합성 데이터와 세 개의 실제 데이터셋에서 풀링 전략과 비교하여 실증적으로 검증되었으며 경쟁력 있는 성능을 보인다.
• 알고리즘 구현 코드가 재현성을 위해 공개적으로 이용 가능하다.