[논문 리뷰] Co-regularized Alignment for Unsupervised Domain Adaptation

Abhishek Kumar, Prasanna Sattigeri외 5명|arXiv (Cornell University)|2018. 11. 13.

Domain Adaptation and Few-Shot Learning인용 수 118

한 줄 요약

이 논문은 두 개의 다양한 특징 공간을 이용한 공동 정규화된 도메인 정렬 방법인 Co-DA를 제시하며, 두 공간의 대상 예측에 대한 일치를 강제하여 비지도 도메인 적응의 성능을 향상시킨다.

ABSTRACT

Deep neural networks, trained with large amount of labeled data, can fail to generalize well when tested with examples from a \emph{target domain} whose distribution differs from the training data distribution, referred as the \emph{source domain}. It can be expensive or even infeasible to obtain required amount of labeled data in all possible domains. Unsupervised domain adaptation sets out to address this problem, aiming to learn a good predictive model for the target domain using labeled examples from the source domain but only unlabeled examples from the target domain. Domain alignment approaches this problem by matching the source and target feature distributions, and has been used as a key component in many state-of-the-art domain adaptation methods. However, matching the marginal feature distributions does not guarantee that the corresponding class conditional distributions will be aligned across the two domains. We propose co-regularized domain alignment for unsupervised domain adaptation, which constructs multiple diverse feature spaces and aligns source and target distributions in each of them individually, while encouraging that alignments agree with each other with regard to the class predictions on the unlabeled target examples. The proposed method is generic and can be used to improve any domain adaptation method which uses domain alignment. We instantiate it in the context of a recent state-of-the-art method and observe that it provides significant performance improvements on several domain adaptation benchmarks.

연구 동기 및 목표

• 비지도 도메인 적응에서 클래스-조건 분포의 불일치를 동기화하고 해결하기 위한 동기 부여 및 접근법 제시.
• 여러 개의 다양한 특징 공간을 생성하고 타깃 예측에 대한 합의를 강제로 하기 위한 공동 정규화 도메인 정렬 제안.
• 공동 정규화가 표준 DA 벤치마크에서 최첨단 결과를 보여주는지 입증.
• 기존 도메인 적응 프레임워크 내에서 Co-DA의 구현을 제공하여 성능 향상을 시연.

제안 방법

• 두 가지 서로 다른 특징 생성기 g1와 g2(이에 대응하는 분류기 h1와 h2)를 구성하여 두 가지 예측 f1 = h1∘g1 및 f2 = h2∘g2를 형성한다.
• 각 뷰에 대해 소스 예측 손실 및 도메인 정렬 손실을 최소화: Ly(fi; Ps) + Ld(gi#Ps, gi#Pt).
• 라벨이 없는 타깃 데이터에서 f1과 f2 간의 L1 거리를 최소화하여 타깃 예측 일치를 촉진: Lp(f1,f2; Pt).
• 소스 미니배치의 평균을 ν 이내로 서로 멀리 떨어지게 하는 다양성 항 Dg(g1,g2)로 g1과 g2의 다원성을 촉진.
• 클러스터 가정과 조건부 엔트로피 최소화 및 두 도메인에서의 Virtual Adversarial Training (VAT)을 통해 학습의 안정성을 확보.
• 도메인 정렬에 Jensen-Shannon 발산을 사용하고 VAT 기반 정규화를 통해 강건성을 높이는 구현을 제공.

실험 결과

연구 질문

• RQ1 공동 정규화된 다양한 특징 공간 간의 정렬이 비지도 도메인 적응에서 잘못된 클래스-조건 정렬을 줄일 수 있는가?
• RQ2 다수의 타깃 예측기 간의 합의를 강제하는 것이 단일 뷰 도메인 정렬 방법보다 타깃 도메인 정확도를 향상시키는가?
• RQ3 특징 공간 간의 명시적 다양성 촉진이 정렬 품질 및 예측 성능에 어떤 영향을 미치는가?
• RQ4 Co-DA가 표준 DA 벤치마크에서 최첨단 방법(VADA 등)에 비해 어떻게 성능하는가?
• RQ5 DIRT-T 같은 정제 단계와 결합했을 때 Co-DA가 어떤 이점을 제공하는가?

주요 결과

• Co-DA는 VADA에 비해 어려운 MNIST→SVHN에서 상당한 향상을 보여 타깃 도메인에서 약 81.7%의 테스트 정확도에 도달한다.
• MNIST→SVHN에서 인스턴스 노멀라이제이션 없이 Co-DA는 47.5%(VADA)에서 52.0%(Co-DA)로 향상하고 bn 변형으로 55.3%까지 높이며, DIRT-T를 사용하면 인스턴스 노멀라이제이션이 있을 때 약 88%로 정제된다.
• SVHN→MNIST 및 MNIST→MNIST-M에서 Co-DA는 VADA 대비 일관된 이득을 보이며, 인스턴스 노멀라이제이션을 사용할수록 더 큰 이득을 얻는 경향이 있다.
• 도메인 정렬 다양성을 가진 Co-DA 변형(Co-DA bn)과 두 가지 분기 구성(Co-DA)이 단일 분기 대비 여러 벤치마크에서 더 높은 성능을 보인다.
• Co-DA를 DIRT-T와 결합하면 데이터 증강이 없는 설정에서도 여러 작업에서 최첨단 결과를 달성할 수 있다.