[논문 리뷰] Improving Unsupervised Domain Adaptation with Variational Information Bottleneck

Yuxuan Song, Lantao Yu외 6명|arXiv (Cornell University)|2019. 11. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 9

한 줄 요약

이 논문은 변분 정보 블로킹 정규화를 사용하여 작업에 관련이 없는 요소를 제거함으로써 특징 전달성(transferability)을 향상시키는 새로운 비지도 도메인 적응 방법인 Variational Bottleneck Domain Adaptation (VBDA)를 제안한다. 조건부 엔트로피를 동시에 최소화하고 정보 블로킹 제약 조건을 적용함으로써 VBDA는 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, SVHN→MNIST에서 이전 방법보다 최대 3.3% 향상되고 Office-Home에서 0.41% 향상된다.

ABSTRACT

Domain adaptation aims to leverage the supervision signal of source domain to obtain an accurate model for target domain, where the labels are not available. To leverage and adapt the label information from source domain, most existing methods employ a feature extracting function and match the marginal distributions of source and target domains in a shared feature space. In this paper, from the perspective of information theory, we show that representation matching is actually an insufficient constraint on the feature space for obtaining a model with good generalization performance in target domain. We then propose variational bottleneck domain adaptation (VBDA), a new domain adaptation method which improves feature transferability by explicitly enforcing the feature extractor to ignore the task-irrelevant factors and focus on the information that is essential to the task of interest for both source and target domains. Extensive experimental results demonstrate that VBDA significantly outperforms state-of-the-art methods across three domain adaptation benchmark datasets.

연구 동기 및 목표

• 기존 도메인 적응 방법이 오직 근사적인 특징 분포를 일치시키는 데 의존함으로써 도메인 불변이지만 작업에 관련이 없는 요소로 인해 악성 전이(negative transfer)가 발생할 수 있는 한계를 해결하기 위해.
• 정보 블로킹 원칙을 통해 학습된 표현에서 관련 없는 정보를 명시적으로 제거함으로써 타겟 도메인에서의 모델 일반화 능력을 향상시키기 위해.
• 클러스터 가정과 같은 강력한 가정을 더 현실적으로 만들기 위해 더 깔끔하고 의미적으로 정렬된 표현을 학습함으로써.
• 정보 유지와 불필요한 요소 억제 사이의 균형을 이끄는 이론적으로 탄탄한 정규화 메커니즘을 제공하기 위해.

제안 방법

• 입력과 표현 간의 상호정보량을 제약하기 위해 변분 정보 블로킹(VIB) 정규화 항을 도입하여, 모델이 작업에 관련된 정보만 유지하도록 유도한다.
• 조건부 엔트로피 최소화와 VIB를 결합하여 잠재 공간에서 레이블 일致성과 표현 순수성을 동시에 최적화한다.
• 상호정보량의 상한을 추정하기 위해 변분 사후 근사(approximation)를 사용하여, backpropagation를 통한 엔드 투 엔드 학습을 가능하게 한다.
• 소스($\lambda_s$) 및 타겟($\lambda_t$) 도메인에 대해 별도의 블로킹 정규화 항을 적용하여 정보 흐름을 독립적으로 제어한다.
• 두 단계 학습 목표를 사용: 도메인 구분자로 도메인 불변 특징 학습과 분류기 헤드로 예측을 수행하며, 둘 다 VIB와 조건부 엔트로피를 통해 정규화된다.
• 정보 블로킹 원칙을 활용하여 학습된 표현 $Z$가 레이블 $Y$를 예측하기 위한 충분통계만 포함하도록 보장하고, 관련 없는 요소를 최소화한다.

실험 결과

연구 질문

• RQ1 정보 블로킹 정규화를 강제 적용함으로써 근사 분포 일치를 넘어서 비지도 도메인 적응에서 일반화 성능을 향상시킬 수 있는가?
• RQ2 $\lambda_s$와 $\lambda_t$를 통해 소스 및 타겟 도메인의 정규화를 분리하면 더 나은 표현 학습과 악성 전이 감소에 기여하는가?
• RQ3 SVHN→MNIST와 같이 큰 도메인 갭을 가진 도전적인 벤치마크에서 제안된 방법이 성능 향상에 얼마나 기여하는가?
• RQ4 조건부 엔트로피와 정보 블로킹을 함께 사용할 경우 학습 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ5 정보 블로킹 메커니즘이 실질적으로 클러스터 가정과 같은 강력한 가정의 효과를 높일 수 있는가?

주요 결과

• VBDA는 도메인 갭이 큰 도전적인 SVHN→MNIST 도메인 적응 작업에서 이전 최신 기술 수준 방법인 CyCADA보다 3.3% 높은 정확도를 달성한다.
• Office-Home 벤치마크에서 VBDA는 CDAN보다 평균 0.41% 높은 성능을 보이며, 큰 도메인 갭과 높은 카테고리 다양성을 가진 데이터셋에서 강력한 성능을 입증한다.
• 제거 실험(ablation study) 결과, 조건부 엔트로피와 정보 블로킹 항을 함께 사용할 경우 안정적인 학습과 최적의 성능를 달성하지만, 단독으로 사용할 경우 불안정성 또는 성능 저하가 발생한다.
• t-SNE 시각화 결과, DANN과 MADA에 비해 VBDA가 특징 공간에서 더 조밀하고 잘 분리된 클래스 클러스터를 학습하는 것으로 확인되어 더 나은 의미적 정렬을 보인다.
• 학습 과정에서 표현과 레이블 간의 상호정보량($I(Y;Z)$)은 증가하는 반면, 입력-표현 상호정보량의 상한($I_U(X;Z)$)은 감소함을 확인하여 관련 없는 요소의 효과적인 제거가 이루어졌음을 증명한다.
• 하이퍼파rameter 분석 결과, 최적의 성능는 $\lambda_s = 10^{-4}$ 및 $\lambda_t < \lambda_s$의 중간 값에서 달성되며, 이는 SVHN이 MNIST보다 더 많은 불필요한 정보를 포함하고 있음을 시사한다.