[논문 리뷰] MiniMax Entropy Network: Learning Category-Invariant Features for Domain Adaptation

Chaofan Tao, Fengmao Lv외 2명|arXiv (Cornell University)|2019. 04. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 9

한 줄 요약

이 논문은 소스 도메인과 타겟 도메인 간의 카테고리 수준 특징 정렬을 강제하기 위해 부정확한 카테고리 식별자(D)를 사용하는 새로운 비지도 도메 적응 방법인 MiniMax 엔트로피 네트워크(MMEN)를 제안한다. 타겟 샘플에 대한 식별자의 예측 엔트로피를 최소화함으로써, MMEN는 생성자 G가 각 카테고리별로 소스 특징을 모방하는 타겟 특징을 생성하도록 유도하며, 초모수 설정에 대해 뛰어난 내성성을 보이며 벤치마크 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

How to effectively learn from unlabeled data from the target domain is crucial for domain adaptation, as it helps reduce the large performance gap due to domain shift or distribution change. In this paper, we propose an easy-to-implement method dubbed MiniMax Entropy Networks (MMEN) based on adversarial learning. Unlike most existing approaches which employ a generator to deal with domain difference, MMEN focuses on learning the categorical information from unlabeled target samples with the help of labeled source samples. Specifically, we set an unfair multi-class classifier named categorical discriminator, which classifies source samples accurately but be confused about the categories of target samples. The generator learns a common subspace that aligns the unlabeled samples based on the target pseudo-labels. For MMEN, we also provide theoretical explanations to show that the learning of feature alignment reduces domain mismatch at the category level. Experimental results on various benchmark datasets demonstrate the effectiveness of our method over existing state-of-the-art baselines.

연구 동기 및 목표

• 기존 도메인 적응 방법이 전반적인 도메인 불변성에 집중하면서도 카테고리 수준의 비일치를 忽시하는 한계를 해결하기 위해.
• 적대적 특징 학습에 카테고리 정보를 통합하여 타겟 도메인에서의 일반화 성능을 향상시키기 위해.
• 세밀한 수준의 특징 정렬을 통해 소스 분류기의 무라벨 타겟 데이터에 대한 효과적인 적용을 가능하게 하기 위해.
• 카테고리 수준의 특징 정렬이 도메인 불일치를 감소시키는 데 이론적 근거를 제공하기 위해.

제안 방법

• MMEN는 공유 특징 생성자 G, 카테고리 식별자 D, 보조 분류기 C를 사용하며, 이들은 엔드 투 엔드로 훈련된다.
• 카테고리 식별자 D는 의도적으로 부정확하다: 소스 샘플은 정확하게 분류하지만, 타겟 샘플의 카테고리에 대해서는 혼동된다.
• 생성자 G는 타겟 샘플에 대한 D의 소프트맥스 출력의 엔트로피를 최소화한다. 이는 식별자의 불확실성에도 불구하고 확신 있는 예측을 유도한다.
• 이 최소-최대 게임은 G가 각 특정 카테고리에 대해 소스 특징과 일치하는 타겟 특징을 생성하도록 이끈다.
• 실제 타겟 레이블에 의존하지 않고, D의 의사라벨에 대한 교차 엔트로피 손실을 사용하여 특징 학습을 이끈다.
• 초모수 λ와 k는 생성자와 식별자 갱신 간의 트레이드오프 및 빈도를 제어한다.

실험 결과

연구 질문

• RQ1 카테고리 수준의 특징 정렬은 전반적인 도메인 불변성 이상의 비지도 도메 적응 성능 향상에 기여하는가?
• RQ2 부정확한 카테고리 식별자를 사용한 적대적 훈련은 특징 정렬과 모델 일반화에 어떤 영향을 미치는가?
• RQ3 MMEN 기반 특징 학습 후, 소스 분류기는 무라벨 타겟 데이터에 효과적으로 적용될 수 있는가?
• RQ4 MMEN는 λ와 k와 같은 초모수 변화에 대해 얼마나 내성적인가?

주요 결과

• MMEN는 MNIST→USPS 및 ImageCLEF-DA 벤치마크에서 최신 기술 성능을 달성하며, 기존 SOTA 방법을 능가한다.
• MNIST→USPS에서 λ=0.02 및 k=5 설정 시 98.1%의 정확도를 기록하여 초모수 설정에 대해 매우 높은 내성성을 입증한다.
• 모든 카테고리에서 소스 및 타겟 특징 간의 클러스터 중심 거리(CCD)가 크게 감소하여 카테고리 수준의 정렬이 효과적으로 이루어졌음을 확인한다.
• 미세조정 없이도 소스 분류기 C는 ResNet50보다 타겟 특징에서 훨씬 높은 정확도를 달성하여, MMEN 특징이 소스 모델과 호환됨을 입증한다.
• λ를 증가시키거나 k를 감소시켜도 모델은 안정적이고 효과적으로 유지되며, 극단적인 설정에서는 기울기 소실로 인해 성능이 약간 저하된다.