[논문 리뷰] Domain Adaptation as a Problem of Inference on Graphical Models

Kun Zhang, Mingming Gong외 4명|arXiv (Cornell University)|2020. 02. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 74인용 수 26

한 줄 요약

이 논문은 증강된 그래픽 모델을 사용하여 도메인 간 분포 이탈을 모델링하는 새로운 도메인 적응 프레임워크를 제안한다. 도메인 적응을 이러한 모델 위에서 베이지안 추론으로 간주함으로써, 공동 분포의 불변 및 변동 성분을 인코딩함으로써 종단 간(end-to-end), 데이터 기반의 적응이 가능해지며 일반화 성능이 향상된다. 이는 WiFi 위치 기반 및 숫자 이미지 이동을 포함한 시뮬레이션 및 실세계 데이터셋에서 검증되었다.

ABSTRACT

This paper is concerned with data-driven unsupervised domain adaptation, where it is unknown in advance how the joint distribution changes across domains, i.e., what factors or modules of the data distribution remain invariant or change across domains. To develop an automated way of domain adaptation with multiple source domains, we propose to use a graphical model as a compact way to encode the change property of the joint distribution, which can be learned from data, and then view domain adaptation as a problem of Bayesian inference on the graphical models. Such a graphical model distinguishes between constant and varied modules of the distribution and specifies the properties of the changes across domains, which serves as prior knowledge of the changing modules for the purpose of deriving the posterior of the target variable $Y$ in the target domain. This provides an end-to-end framework of domain adaptation, in which additional knowledge about how the joint distribution changes, if available, can be directly incorporated to improve the graphical representation. We discuss how causality-based domain adaptation can be put under this umbrella. Experimental results on both synthetic and real data demonstrate the efficacy of the proposed framework for domain adaptation. The code is available at https://github.com/mgong2/DA_Infer .

연구 동기 및 목표

• 분포 이탈의 성격이 도메인 간에 사전에 알려져 있지 않은 비지도 도메인 적응 문제를 해결하기 위해.
• 다양한 소스 도메인 간에 공동 분포가 어떻게 변화하는지 자동으로 학습하는 종단 간 프레임워크를 개발하기 위해.
• 불변 또는 변동하는 요소가 무엇인지에 대한 사전 지식을 구조화된 그래픽 모델 표현에 통합하기 위해.
• 확률적 그래픽 모델을 사용하여 인과 기반 도메인 적응을 단일 추론 기반 프레임워크로 통합하기 위해.
• 목표 도메인의 예측 성능을 햖थ기 위해 학습된 분포 변화 모델과 관측된 목표 도메인 특징을 모두 활용하기 위해.

제안 방법

• 공통 분포를 인수분해하고, 어떤 조건부 분포가 도메인 간에 일정하거나 변화하는지 명시적으로 인코딩하기 위해 증강된 방향성 비순환 그래프(DAGs)를 사용한다.
• 모더 분포(모더 분포)를 확률적 그래픽 모델로 모델링하여 도메인 특화 분포의 불확실성을 포착하고, 분포 변화에 대한 제약 조건을 인코딩한다.
• 관측된 목표 도메인 특징 $X^\tau$ 를 바탕으로 목표 레이블 $Y$ 의 사후 분포를 계산하기 위해 증강된 그래픽 모델에서 베이지안 추론을 수행하며, 근사 사후 추론을 사용한다.
• 잠재변수 조건부 GANs(LV-CGANs)를 사용하여 각 도메인에서 조건부 분포 $P(X|Y)$ 를 모델링하며, 불변 모듈에는 공유 파라미터, 변동 모듈에는 도메인별로 다른 파라미터를 사용한다.
• 모델 파라미터 $\boldsymbol{\theta}$ 에 대한 사후 분포 $q(\boldsymbol{\theta}|\mathcal{D}^\tau)$ 를 근사하기 위해 변분 추론을 적용하여 확장 가능한 학습과 예측을 가능하게 한다.
• 근사 사후 분포에서 몬테카를로 샘플링을 수행하여 예측 분포 $P(y_k^\tau | \mathbf{x}_k^\tau)$ 를 추정하며, 모델 파라미터의 불확실성과 관측된 특징을 통합한다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응 환경에서 여러 도메인 간 공동 분포의 구조적 변화를 어떻게 압축적이고 자동으로 표현할 수 있는가?
• RQ2 불변 및 변동 성분을 구분하는 그래픽 모델 위에서 분포 이탈 문제를 베이지안 추론 문제로 모델링할 수 있는가?
• RQ3 공동 분포의 어떤 요소가 불변 또는 변화 가능하는지에 대한 사전 지식을 그래픽 모델에 어떻게 통합하여 적응 성능을 향상시킬 수 있는가?
• RQ4 증강된 그래픽 모델을 사용하여 인과 기반 도메인 적응 원리를 단일 확률적 추론 프레임워크로 통합할 수 있는가?
• RQ5 레이블이 목표 도메인에 존재하지 않을 때, 제안된 프레임워크가 조건부 분포 $P(X|Y)$ 를 얼마나 효과적으로 캡처하고 전이할 수 있는가?

주요 결과

• 제안된 프레임워크는 시뮬레이션 및 실세계 도메인 적응 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, WiFi 위치 기반 및 숫자 이미지 이동 작업을 포함한다.
• 학습된 증강 DAG는 공동 분포 내에서 일정한 모듈과 변동하는 모듈를 정확하게 식별하며, 다양한 도메인 쌍(예: WiFi 데이터셋에서의 t1&t2, t2&t3, t1&t3) 간 일관된 구조를 유지한다.
• MNIST, SVHN, Street View 숫자 데이터셋에서, 소스 레이블 데이터와 잠재변수 C-GANs만을 사용하여 목표 도메인에서 고품질의 이미지를 성공적으로 생성하였다.
• 목표 도메인이 레이블 없이도 $P(X|Y)$ 의 효과적인 전이가 가능하며, 생성된 이미지에서 조건부 분포의 충실한 재구성이 이를 입증한다.
• 변분 추론과 몬테카를로 샘플링의 사용은 강력하고 확장 가능한 예측을 가능하게 하였으며, 분포 이탈의 적절한 모델링 덕분에 성능 향상이 달성되었다.