[논문 리뷰] Causal Generative Domain Adaptation Networks

Mingming Gong, Kun Zhang외 4명|arXiv (Cornell University)|2018. 04. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 21

한 줄 요약

이 논문은 잠재 변수를 생성적 프레임워크 내에서 사용하여 도메인 이동을 모델링하는 비모수적 방법인 인과적 생성 도메인 적응 네트워크(CG-DAN)를 제안한다. 이는 도메인 간 분포 이동 모델링과 데이터 생성을 동시에 가능하게 하며, 고차원 특징 종속성을 인과적 구조를 통해 분해함으로써 통계적 및 계산적 효율성을 향상시켜 합성 및 실세계 데이터셋에서 교차 도메인 예측 및 도메인 생성에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

An essential problem in domain adaptation is to understand and make use of distribution changes across domains. For this purpose, we first propose a flexible Generative Domain Adaptation Network (G-DAN) with specific latent variables to capture changes in the generating process of features across domains. By explicitly modeling the changes, one can even generate data in new domains using the generating process with new values for the latent variables in G-DAN. In practice, the process to generate all features together may involve high-dimensional latent variables, requiring dealing with distributions in high dimensions and making it difficult to learn domain changes from few source domains. Interestingly, by further making use of the causal representation of joint distributions, we then decompose the joint distribution into separate modules, each of which involves different low-dimensional latent variables and can be learned separately, leading to a Causal G-DAN (CG-DAN). This improves both statistical and computational efficiency of the learning procedure. Finally, by matching the feature distribution in the target domain, we can recover the target-domain joint distribution and derive the learning machine for the target domain. We demonstrate the efficacy of both G-DAN and CG-DAN in domain generation and cross-domain prediction on both synthetic and real data experiments.

연구 동기 및 목표

• 조건부 이동 조건 하에서, 즉 $P_{X|Y}$ 가 도메인 간으로 변화하고 타겟 도메인의 레이블이 제공되지 않는 비지도 도메인 적응 문제를 해결하기 위해.
• 특징 분포 $P_{X|Y}$ 에 대한 강력한 파rametric 가정 없이도 분포 변화를 탄력적이고 비모수적으로 모델링하기 위해.
• 인과 모듈러 구조를 사용하여 결합 분포를 분해함으로써 학습 효율성과 해석 가능성 향상하기 위해.
• 생성 모델의 잠재 변수 공간에서의 보간을 통해 새로운 도메인에서 데이터 생성을 가능하게 하기 위해.
• 특징 분포 매칭을 통해 타겟 도메인의 결합 분포 $P_{XY}$ 를 복원함으로써 타겟 도메인에서 정확한 예측을 가능하게 하기 위해.

제안 방법

• 도메인 특화된 잠재 변수 $\bm{\theta}$ 와 공유되는 노이즈 $E$ 를 사용하여 $P_{X|Y}$ 를 모델링하는 생성 도메인 적응 네트워크(G-DAN)를 제안한다. 이때 $X = g(Y, E, \bm{\theta})$ 를 만족한다.
• 모든 도메인에서 공통된 생성자 $g$ 와 노이즈 $E$ 를 사용하며, $\bm{\theta}$ 는 특징 분포의 도메인 특화된 변화를 기록한다.
• 타겟 도메인에서 특징 분포 매칭을 적용하여 타겟 도메인의 $P_{XY}$ 를 복원함으로써 타겟 도메인에 특화된 예측을 가능하게 한다.
• 인과 그래프에 따라 결합 분포를 인수분해함으로써 인과적 G-DAN(CG-DAN)을 도입하며, $\bm{\theta}$ 를 상호 배타적인 모듈러 구성요소로 분해한다.
• 인과 시스템의 모듈러성을 활용하여 각 모듈에 대해 별도로 잠재 변수를 추정함으로써 차원의 저하를 줄이고 학습 효율성을 향상시킨다.
• CG-DAN에서 생성자 $g$ 와 조건부 분포를 파arameter화하기 위해 신경망(MLPs)을 사용하며, 각 모듈당 저차원의 $\bm{\theta}_i$ 를 사용한다.

실험 결과

연구 질문

• RQ1 강력한 파rametric 가정 없이도 $P_{X|Y}$ 의 임의의 변화를 도메인 간에 모델링할 수 있는가?
• RQ2 레이블이 없는 타겟 데이터와 특징 분포 매칭만으로 타겟 도메인의 결합 분포 $P_{XY}$ 를 복원할 수 있는가?
• RQ3 인과적 구조 분해가 도메인 이동 학습의 통계적 및 계산적 효율성을 향상시키는가?
• RQ4 생성 모델의 잠재 변수 공간에서의 보간을 통해 새로운 도메인에서 현실적인 데이터를 생성할 수 있는가?
• RQ5 인과적 구조를 통합함으로써 교차 도메인 예측 작업에서 더 나은 일반화 성능를 달성할 수 있는가?

주요 결과

• CG-DAN은 G-DAN 및 이전 방법들(KMM, TCA, SuK, DIP, CTC)을 모두 능가하며, $\mathtt{t1} \rightarrow \mathtt{t2}$ WiFi 로컬라이제이션 작업에서 91.66%의 정확도를 달성했다.
• $\mathtt{t1} \rightarrow \mathtt{t3}$ 타임 트랜스퍼 작업에서 CG-DAN은 93.17%의 정확도를 기록했으며, 이는 두 번째로 좋은 성능을 낸 방법(CTC)보다 3퍼센트 이상 높았다.
• 장치 이동 작업에서 CG-DAN은 $\mathtt{hallway2}$ 에서 87.74%의 정확도를 기록했으며, 다음으로 좋은 방법(CTC)보다 1.2% 높았다.
• G-DAN은 $\bm{\theta}$ 공간에서의 보간과 노이즈 $E$ 에서의 샘플링을 통해 새로운 도메인에서의 데이터 생성을 가능하게 하여 도메인 전이의 실용적 유용성을 입증했다.
• 단일 소스 도메인과 레이블이 없는 타겟 데이터만으로도 온건한 조건 하에서 타겟 도메인의 $P_{XY}$ 를 복원할 수 있어 효과적인 예측이 가능해졌다.
• 모든 평가된 작업에서 CG-DAN은 G-DAN보다 더 뛰어난 성능을 보였으며, 이는 인과적 구조 분해가 모델 복잡도를 감소시키고 추정 성능를 향상시키는 데 기여함을 확인했다.