[논문 리뷰] Factorized Adversarial Networks for Unsupervised Domain Adaptation

Jian Ren, Shuicheng Yan외 2명|arXiv (Cornell University)|2018. 06. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 5

한 줄 요약

이 논문은 잠재 특징을 작업별 특징과 도메인별 특징으로 분리하는 새로운 비지도 도메인 적응 방법인 Factorized Adversarial Networks (FAN)을 제안한다. GAN 기반 학습을 통해 소스 도메인과 타겟 도메인 간에 작업별 특징 부분공간만을 적대적으로 정렬함으로써, 기존의 ADDA와 같은 방법들보다 뛰어난 성능을 보이며, 벤치마크 숫자 데이터셋과 대규모 실세계 태깅 데이터셋에서 최고 성능을 기록한다.

ABSTRACT

In this paper, we propose Factorized Adversarial Networks (FAN) to solve unsupervised domain adaptation problems for image classification tasks. Our networks map the data distribution into a latent feature space, which is factorized into a domain-specific subspace that contains domain-specific characteristics and a task-specific subspace that retains category information, for both source and target domains, respectively. Unsupervised domain adaptation is achieved by adversarial training to minimize the discrepancy between the distributions of two task-specific subspaces from source and target domains. We demonstrate that the proposed approach outperforms state-of-the-art methods on multiple benchmark datasets used in the literature for unsupervised domain adaptation. Furthermore, we collect two real-world tagging datasets that are much larger than existing benchmark datasets, and get significant improvement upon baselines, proving the practical value of our approach.

연구 동기 및 목표

• 라벨이 소스 도메인에서만 이용 가능한 이미지 분류 문제에서 비지도 도메인 적응을 해결하기 위해.
• 잠재 특징을 도메인별 부분공간과 작업별 부분공간으로 분해하여 도메인 이동을 줄이기 위해.
• 적대적 학습을 통해 타겟 도메인으로의 일반화를 향상시키기 위해 작업별 부분공간만을 정렬하기 위해.
• 기존 표준 벤치마크 데이터셋과 새로 수집한 대규모 실세계 태깅 데이터셋 모두에서 효과를 검증하기 위해.

제안 방법

• 네트워크는 소스 도메인과 타겟 도메인의 잠재 특징을 도메인별 부분공간(DSS)과 작업별 부분공간(TSS)으로 분해하며, 상호정보량 손실를 통해 직교성 조건을 강제한다.
• 소스 도메인에서는 분류 손실와 재구성 손실를 함께 최적화하며, DSS 특징을 로짓과 연결하여 입력 이미지를 재구성한다.
• 타겟 도메인에서는 TSS 특징을 소스 도메인의 TSS와 정렬하기 위해 적대적 손실와 재구성 손실를 사용한다.
• 분류기 네트워크는 소스 도메인과 타겟 도메인의 TSS 특징을 구별하도록 훈련되어, GAN 방식의 적대적 학습을 통해 분포 차이를 최소화한다.
• 인코더에는 ResNet-50을, 재구성용 디코더에는 DCGAN 스타일의 네트워크를 사용하며, 도메인 분류를 위한 3층 완전 연결층 디스커미네이터를 사용한다.
• 이중 단계 훈련 과정을 적용한다: 먼저 레이블이 있는 소스 도메인에서 사전 훈련을 수행하고, 이후 레이블이 없는 타겟 도메인에서 적대적 적응을 수행한다.

실험 결과

연구 질문

• RQ1 잠재 특징을 도메인별 및 작업별 부분공간으로 분리하는 것이 비지도 도메인 적응 성능을 향상시키는가?
• RQ2 작업별 부분공간만을 적대적으로 정렬하는 것이 전체 도메인 불변 특징 학습보다 더 나은 일반화 성능을 낳는가?
• RQ3 복잡한 도메인 이동이 존재하는 대규모 실세계 이미지 데이터셋에서 이 방법의 성능은 어떠한가?
• RQ4 더 많은 타겟 도메인의 레이블이 없는 샘플을 사용할 경우, 적응 성능 향상 정도는 어느 정도인가?

주요 결과

• Mobile 데이터셋에서 FAN은 전체 타겟 훈련 세트를 사용하여 Top-1 정확도 46.32%를 달성했으며, ADDA보다 2.46% 높은 성능을 보였다.
• 타겟 훈련 데이터의 10%만을 사용했을 때도 FAN은 비적응 기반 모델보다 Top-1 정확도를 3.75% 향상시켰다.
• MNIST, USPS, SVHN 벤치마크 데이터셋에서 FAN은 기존 최고 성능(SOTA) 방법들을 능가하는 최고 성능을 기록했다.
• 새로 수집한 실세계 데이터셋인 Crawling과 Mobile에서 각각 115,000장 이상의 이미지와 100개의 공통 클래스를 포함하여 상당한 성능 향상을 보였다.
• 제거 분석 결과, 타겟 도메인의 레이블이 없는 이미지 수를 늘일수록 모델 성능이 향상되었으며, 전체 타겟 세트를 사용했을 때 Top-1 정확도가 10% 이상 상승하는 결과를 보였다.
• 시각화 및 분석 결과, 작업별 부분공간은 클래스 관련 특징을 잘 포착하고 있으며, 도메인별 부분공간은 도메인 특화된 노이즈를 포함하고 있음을 확인하여, 분리 설계의 타당성을 검증했다.