[논문 리뷰] A Theory of Output-Side Unsupervised Domain Adaptation

Tomer Galanti, Lior Wolf|arXiv (Cornell University)|2017. 03. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 6인용 수 5

한 줄 요약

이 논문은 라벨이 없는 타겟 출력—입력이 아닌 출력을 사용하여 적응하는 새로운 프레임워크인 출력 측 비지도 도메인 적응(ODA)을 소개한다. 불일치 최소화를 통해 일반화 경계를 유도함으로써 CoGAN 및 도메인 전이 네트워크와 같은 방법의 이론적 기초를 제공하며, 주요 결과로 출력 공간 정렬과 GAN 기반 불일치 제어를 통한 개선된 적응이 가능함을 보여준다.

ABSTRACT

When learning a mapping from an input space to an output space, the assumption that the sample distribution of the training data is the same as that of the test data is often violated. Unsupervised domain shift methods adapt the learned function in order to correct for this shift. Previous work has focused on utilizing unlabeled samples from the target distribution. We consider the complementary problem in which the unlabeled samples are given post mapping, i.e., we are given the outputs of the mapping of unknown samples from the shifted domain. Two other variants are also studied: the two sided version, in which unlabeled samples are give from both the input and the output spaces, and the Domain Transfer problem, which was recently formalized. In all cases, we derive generalization bounds that employ discrepancy terms.

연구 동기 및 목표

• 라벨이 없는 타겟 데이터가 입력 공간이 아닌 타겟 함수의 출력으로 제공되는 비지도 도메인 적응의 격차를 해결한다.
• 학습자가 타겟 도메인의 라벨이 없는 출력을 사용하여 적응하는 새로운 패러다임인 출력 측 도메인 적응(ODA)을 정식화한다.
• 양측 설정(양 도메인의 일치하지 않는 입력 및 출력 샘플이 존재함)과 교차 도메인 생성을 수반하는 도메인 전이 문제로 분석을 확장한다.
• CoGAN 및 도메인 전이 네트워크와 같은 최근 방법에 대해 불일치 기반 일반화 경계를 통해 이론적 근거를 제공한다.
• 불일치 최소화가 출력 공간 설정에서 효과적인 적응을 가능하게 함을 보여줌으로써 GAN과 도메인 적응 간의 연결 고리를 수립한다.

제안 방법

• 학습자가 라벨이 있는 소스 데이터와 타겟 도메인의 라벨이 없는 출력만을 수신하는 출력 측 도메인 적응(ODA)을 제안한다.
• 소스 분포와 타겟 도메인에서의 복합 매핑 간의 불일치를 포함하는 일반화 위험 경계를 정의한다.
• 요소 삼각 부등식을 사용하여 타겟 위험을 모델의 등복성, 특징 일관성, 불일치 성분으로 분해한다.
• 생성된 출력과 실제 타겟 출력 간의 분포 발산을 측정하기 위해 불일치 항목 $\textnormal{disc}_{\mathcal{H}}(D^{y}_{2}, h\circ D_{1})$ 을 도입한다.
• 적응 모델 성능이 출력 매핑의 정확성과 생성된 출력과 실제 타겟 출력 간의 유사성에 어떻게 연결되는지 연결하는 경계를 유도한다.
• 분류기 클래스 $\mathcal{H}_2$ 가 리프시츠일 경우 경계가 단순화되고, DTN 알고리즘의 손실 성분($L_{\text{TID}}$, $L_{\text{CONST}}$)과 일치함을 보여준다.

실험 결과

연구 질문

• RQ1 라벨이 없는 타겟 도메인의 출력만 제공될 경우 비지도 도메인 적응에 대한 일반화 경계를 도출할 수 있는가?
• RQ2 일치하지 않는 입력 및 출력 샘플이 양 도메인에서 모두 존재하는 양측 도메인 적응 설정은 더 나은 적응을 어떻게 가능하게 하는가?
• RQ3 GAN 유사 목적을 사용해 교차 도메인 샘플을 생성하는 도메인 전이 네트워크(DTN) 알고리즘에 대해 어떤 이론적 근거를 제공할 수 있는가?
• RQ4 불일치 기반 경계는 출력 공간 설정에서 GAN 기반 도메인 적응의 성공과 어떻게 관련이 있는가?
• RQ5 타겟 함수의 등복성은 출력 측 적응에서 더 날카운 일반화 경계를 도출하는 데 활용될 수 있는가?

주요 결과

• 논문은 출력 재구성 오차, 특징 일관성, 생성된 출력과 실제 타겟 출력 간의 불일치를 포함하는 출력 측 도메인 적응(ODA)의 일반화 경계를 도출한다.
• 이 경계는 생성된 출력과 실제 타겟 분포 간의 불일치 $\textnormal{disc}_{\mathcal{H}}(D^{y}_{2}, h\circ D_{1})$ 를 최소화할수록 일반화 성능이 향상됨을 보여준다.
• 양측 설정에서는 유도된 경계가 입력 및 출력 공간에서의 공동 분포 정렬이 위험을 감소시킴을 보여주며, CoGAN 방법의 동기를 제공한다.
• 도메인 전이 문제에서는 경계가 DTN 알고리즘의 손실 성분인 $L_{\text{TID}}$ (정체성 유지)와 $L_{\text{CONST}}$ (특징 일관성)를 자연스럽게 도출함을 정당화한다.
• 만약 $\mathcal{H}_2$ 가 일반 리프시츠 클래스일 경우 경계는 $R_{D_1}[h,y] \lesssim R_{D^{y}_2}[h,\text{Id}] + R_{D_1}[f\circ h,f] + \textnormal{disc}_{\mathcal{H}}(D^{y}_2, h\circ D_1) + \lambda$ 로 단순화되며, 이는 DTN의 학습 목표와 일치한다.
• 이론적 분석은 GAN 기반 불일치 최소화가 출력 측 적응에서 효과적임을 확인하며, 기존 도메인 적응의 원칙적인 대안을 제공한다.