[논문 리뷰] Data Augmentation with norm-VAE for Unsupervised Domain Adaptation

Qian Wang, Fanlin Meng외 1명|arXiv (Cornell University)|2020. 12. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 7

한 줄 요약

이 논문은 고차원 특징 공간에서의 데이터 증강을 위한 새로운 생성 모델인 norm-VAE와 선택적 가짜 레이블링(naive-SPL)을 사용하는 새로운 비지도 도메인 적응(UDA) 방법을 제안한다. 소스 데이터에 레이블이 붙은 데이터와 타겟 데이터에 대해 가짜 레이블이 붙은 데이터를 통합하여 학습한 분류기와 norm-VAE가 생성한 합성 타겟 특징을 활용함으로써, Office-Caltech에서 평균 정확도 93.4%와 ImageCLEF-DA에서 90.4%의 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

We address the Unsupervised Domain Adaptation (UDA) problem in image classification from a new perspective. In contrast to most existing works which either align the data distributions or learn domain-invariant features, we directly learn a unified classifier for both domains within a high-dimensional homogeneous feature space without explicit domain adaptation. To this end, we employ the effective Selective Pseudo-Labelling (SPL) techniques to take advantage of the unlabelled samples in the target domain. Surprisingly, data distribution discrepancy across the source and target domains can be well handled by a computationally simple classifier (e.g., a shallow Multi-Layer Perceptron) trained in the original feature space. Besides, we propose a novel generative model norm-VAE to generate synthetic features for the target domain as a data augmentation strategy to enhance classifier training. Experimental results on several benchmark datasets demonstrate the pseudo-labelling strategy itself can lead to comparable performance to many state-of-the-art methods whilst the use of norm-VAE for feature augmentation can further improve the performance in most cases. As a result, our proposed methods (i.e. naive-SPL and norm-VAE-SPL) can achieve new state-of-the-art performance with the average accuracy of 93.4% and 90.4% on Office-Caltech and ImageCLEF-DA datasets, and comparable performance on Digits, Office31 and Office-Home datasets with the average accuracy of 97.2%, 87.6% and 67.9% respectively.

연구 동기 및 목표

• 명시적인 도메인 정렬 또는 도메인 불변 특징 학습 없이 비지도 도메인 적응(UDA) 문제를 해결하기 위해.
• 분포 이탈에도 불구하고 고차원 특징 공간에서 통합된 분류기가 도메인 간 일반화가 가능한지 조사하기 위해.
• 최소한의 아키텍처 복잡성으로도 선택적 가짜 레이블링(SPL)이 UDA 성능 향상에 얼마나 효과적인지 평가하기 위해.
• 클래스 및 도메인을 구분하는 합성 특징을 생성할 수 있는 새로운 생성 모델인 norm-VAE를 설계하기 위해.
• 복잡한 도메인 적응 모듈 없이도 합성 특징를 통한 데이터 증강이 UDA 성능 향상에 크게 기여할 수 있는지 입증하기 위해.

제안 방법

• 소스에서 학습된 분류기가 출력한 고신뢰도 예측을 사용하여, 비라벨이 붙은 타겟 샘플에 대해 가짜 레이블을 할당하는 선택적 가짜 레이블링 전략인 naive-SPL을 제안한다.
• 잠재 공간에서 평균과 분산 파라미터를 L2 정규화한 방식으로 KL 발산 정규화를 대체하는 변형된 변동형 오토인코더인 norm-VAE를 도입한다.
• 도메인 조건부 디코더를 사용하여, 도메인 특화이면서도 클래스를 구분하는 합성 특징를 생성한다.
• 실제 소스 데이터와 가짜 레이블이 붙은 타겟 데이터를 조합하여 학습한 통합 분류기(예: 얕은 MLP 또는 CNN)에 norm-VAE로부터 생성된 합성 타겟 특징를 추가로 활용한다.
• 여러 학습 반복(T=5–10) 동안 가짜 레이블링을 반복적으로 개선함으로써, 하이퍼파ram터 선택에 대해 뛰어난 안정성을 확보한다.
• t-SNE를 활용해 생성된 특징를 시각화하여, 합성 샘플이 소스 및 타겟 도메인의 실제 데이터 클러스터와 잘 일치함을 검증한다.

실험 결과

연구 질문

• RQ1 명시적인 도메인 정렬이나 도메인 불변 특징 학습 없이도, 고차원 특징 공간에서 학습된 단순한 통합 분류기가 강력한 UDA 성능을 달성할 수 있는가?
• RQ2 비라벨 타겟 데이터에 직접 선택적 가짜 레이블링(SPL)을 적용했을 때, UDA 성능 향상에 얼마나 효과적인가?
• RQ3 norm-VAE와 같은 새로운 생성 모델이 UDA에서 분류기의 일반화 성능 향상에 기여할 수 있는가?
• RQ4 norm-VAE가 생성한 특징를 통한 데이터 증강이 다양한 UDA 벤치마크 데이터셋에서 일관된 성능 향상을 이끌 수 있는가?
• RQ5 제안된 방법이 가짜 레이블링 반복 수와 같은 하이퍼파ram터에 얼마나 민감한가?

주요 결과

• naive-SPL 방법은 Office-Caltech에서 평균 정확도 93.4%와 ImageCLEF-DA에서 90.4%를 기록하며, 많은 복잡한 도메인 적응 방법들을 능가하는 최신 기준 성능을 달성한다.
• norm-VAE-SPL 방법은 Office-Caltech, Office31, ImageCLEF-DA, Office-Home 각각 0.6%, 1.7%, 1.0%, 2.2% 향상되어, 합성 데이터 증강의 효과가 일관되게 나타남을 보여준다.
• Digits 데이터셋에서 평균 정확도 97.2%를 기록하여, 이미지 분류에 얕은 두 층의 MLP를 사용했음에도 불구하고 최신 기준 방법들과 유사한 성능을 달성한다.
• naive-SPL과 norm-VAE-SPL의 성능는 가짜 레이블링 반복 수에 대해 뛰어난 내구성을 보이며, T > 5일 경우 성능 저하가 최소한이다.
• t-SNE 시각화 결과, norm-VAE가 생성한 합성 특징들이 소스 및 타겟 도메인의 실제 데이터 클러스터와 잘 일치하는 클래스를 구분하는 클러스터를 형성함을 확인하였다.
• 특히 타겟 도메인에서 실재 데이터 클러스터와의 약간의 비일치가 관찰되었으며, 이는 데이터 분포를 과도하게 보완함으로써 성능에 기여할 수 있는 안정성을 제공할 수 있다.