[논문 리뷰] Unsupervised Visual Domain Adaptation: A Deep Max-Margin Gaussian Process Approach

Minyoung Kim, Pritish Kumar Sahu외 2명|arXiv (Cornell University)|2019. 02. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 66인용 수 6

한 줄 요약

이 논문은 비지도 시각적 도메인 적응을 위한 딥 최대마진 가우시안 프로세스 방법을 제안하며, 베이지안 추론을 활용해 최대 분류기 차이(MCD)를 최소화하는 가설 공간의 분류기 집합을 유도한다. 이 방법은 분류기 일致성과 예측 불확실성의 정량화를 체계적으로 정규화함으로써 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이전의 적대적 MCD 기반 방법들을 능가한다.

ABSTRACT

In unsupervised domain adaptation, it is widely known that the target domain error can be provably reduced by having a shared input representation that makes the source and target domains indistinguishable from each other. Very recently it has been studied that not just matching the marginal input distributions, but the alignment of output (class) distributions is also critical. The latter can be achieved by minimizing the maximum discrepancy of predictors (classifiers). In this paper, we adopt this principle, but propose a more systematic and effective way to achieve hypothesis consistency via Gaussian processes (GP). The GP allows us to define/induce a hypothesis space of the classifiers from the posterior distribution of the latent random functions, turning the learning into a simple large-margin posterior separation problem, far easier to solve than previous approaches based on adversarial minimax optimization. We formulate a learning objective that effectively pushes the posterior to minimize the maximum discrepancy. This is further shown to be equivalent to maximizing margins and minimizing uncertainty of the class predictions in the target domain, a well-established principle in classical (semi-)supervised learning. Empirical results demonstrate that our approach is comparable or superior to the existing methods on several benchmark domain adaptation datasets.

연구 동기 및 목표

• 기존 비지도 도메인 적응(UDA) 방법이 단지 입력 분포의 근사에 의존함으로써 공변량 이동 하에서 성능이 열등해지는 데 기인한 한계를 해결하기 위해.
• 입력 표현 뿐 아니라 출력(클래스) 분포의 일致성도 강제함으로써 타겟 도메인 일반화를 향상시키기 위해, 특히 분류기 간 최대 차이를 최소화함으로써.
• 기존 MCD 기반 방법에서 사용하는 적대적 최소최대 최적화의 체계적이고 확장 가능한 대안을 제공하기 위해, 가우시안 프로세스를 활용해 분류기의 가설 공간을 모델링함으로써.
• 가우시안 프로세스 프레임워크에서 잠재 함수의 사후 분포를 활용해 타겟 도메인의 예측 불확실성을 정량화함으로써.
• 딥 네ural 네트워크와 구조적 GP 사전분포를 조합함으로써 비지도 도메인 적응에서 최신 기술 수준의 성능를 달성함과 동시에, 큰 마진 간격 분리와 강건성을 증진함.

제안 방법

• 이 방법은 분류기를 임의의 함수로 모델링하기 위해 가우시안 프로세스(GP) 사전분포를 사용하며, 잠재 함수의 사후 분포가 예측을 위한 가설 공간을 정의한다.
• 모든 두 분류기 간 최대 차이를 최소화하는 학습 목표를 설정함으로써, 도메인 간 가설 일致성을 효과적으로 강제한다.
• GP 프레임워크는 큰 마진 사후 분리 가능성을 제공하며, 이는 이전 MCD 방법의 복잡한 최소최대 최적화 문제를 더 다룰 수 있고 안정적인 최적화 문제로 변환한다.
• 딥 네ural 네트워크를 사용해 GP의 평균 및 공분산 함수를 매개변수화함으로써, 딥 커널 방법을 통한 확장 가능한 비모수 베이지안 추론을 가능하게 한다.
• 타겟 도메인의 예측 불확실성은 사후 분산을 통해 정량화되며, 이는 예측에 대한 신뢰도의 신뢰할 수 있는 측도를 제공한다.
• 이 방법은 소스 데이터에 대한 교차 엔트로피 손실과 타겟 데이터에 대한 MCD 정규화를 조합한 미분 가능한 목표 함수를 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 베이지안 GP 기반 프레임워크는 비지도 도메인 적응에서 분류기 간 최대 차이를 체계적으로 감소시켜 타겟 도메인에서의 일반화 성능 향상에 기여할 수 있는가?
• RQ2 GP 사후 분포를 통한 가설 공간 모델링은 적대적 최소최대 최적화에 비해 훈련 안정성과 수렴성 측면에서 어떻게 비교되는가?
• RQ3 GP 추론에서 도출된 불확실성 정량화는 자원이 제한된 타겟 도메인에서 예측의 신뢰성을 향상시킬 수 있는가?
• RQ4 딥 특징 학습과 구조적 GP 사전분포를 조합함으로써 비베이지안 딥 모델에 비해 도메인 적응 성능 향상 정도는 어느 정도인가?
• RQ5 제안된 방법은 계산 효율성을 유지하면서도 표준 UDA 벤치마크에서 최신 기술 수준의 성능를 달성하는가?

주요 결과

• 제안된 방법은 여러 표준 비지도 도메인 적응 벤치마크에서 최신 기술 수준의 성능를 달성하며, 최근의 MCDA 알고리즘을 능가한다.
• 모델은 최대 분류기 차이(MCD)를 효과적으로 최소화함으로써 타겟 도메인에서 뛰어난 일반화 성능를 보이며, 이는 타겟 오차의 핵심 이론적 경계이다.
• GP 기반 사후 정규화의 사용은 MCDA에서 사용된 적대적 최소최대 최적화에 비해 더 안정적이고 수렴성이 뛰어난 훈련을 가능하게 한다.
• GP 모델에서 도출된 예측 불확실성 추정치는 신뢰할 수 있으며, 높은 불확실성은 타겟 샘플에서 낮은 예측 정확도와 관련이 있다.
• 딥 커널 기법을 활용해 확장 가능한 GP 추론을 구현함으로써 표준 딥 러닝 모델과 유사한 계산 효율성을 유지한다.
• 실험 결과는 제안된 접근법이 타겟 도메인에서 마진 최대화와 불확실성 최소화 사이의 유리한 트레이드오프를 달성함을 확인한다.