[논문 리뷰] Maximum Classifier Discrepancy for Unsupervised Domain Adaptation

Kuniaki Saito, Kohei Watanabe외 2명|arXiv (Cornell University)|2017. 12. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 143

한 줄 요약

논문은 두 개의 태스크-특정 분류기를 활용하여 대상 샘플에서의 불일치를 최대화하고, 생성기가 이 불일치를 최소화하여 대상 피처를 소스 지원과 정렬시키는 비지도 도메인 적응을 위한 판별적 적대적 접근을 제시한다.

ABSTRACT

In this work, we present a method for unsupervised domain adaptation. Many adversarial learning methods train domain classifier networks to distinguish the features as either a source or target and train a feature generator network to mimic the discriminator. Two problems exist with these methods. First, the domain classifier only tries to distinguish the features as a source or target and thus does not consider task-specific decision boundaries between classes. Therefore, a trained generator can generate ambiguous features near class boundaries. Second, these methods aim to completely match the feature distributions between different domains, which is difficult because of each domain's characteristics. To solve these problems, we introduce a new approach that attempts to align distributions of source and target by utilizing the task-specific decision boundaries. We propose to maximize the discrepancy between two classifiers' outputs to detect target samples that are far from the support of the source. A feature generator learns to generate target features near the support to minimize the discrepancy. Our method outperforms other methods on several datasets of image classification and semantic segmentation. The codes are available at \url{https://github.com/mil-tokyo/MCD_DA}

연구 동기 및 목표

• 작업 특유의 결정 경계를 무시하는 도메인 분류기 기반 분포 매칭의 한계를 동기 부여하고 해결한다.
• 소스 지원 밖의 대상 샘플을 탐지하기 위해 작업 특유의 분류기를 판별기로 활용하는 새로운 적대적 프레임워크를 제안한다.
• 타깃 데이터에서 분류기 불일치를 최대화하고 피처 생성을 통해 이를 최소화하는 것을 교대로 수행하는 학습 절차를 개발한다.
• 도메인 레이블을 사용하지 않고 이미지 분류와 의미론적 세그멘테이션 작업에서 효과를 입증한다.

제안 방법

• 특징 생성기 G와 G의 특징으로부터 K-클래스 예측을 생성하는 두 개의 작업 특화 분류기 F1 및 F2를 사용한다.
• 대상 샘플 x_t에서의 불일치를 d(p1(.|x_t), p2(.|x_t))로 정의하며, 여기서 d는 두 분류기의 확률 출력 간의 L1 거리를 의미한다: d = (1/K) * sum_{k=1}^K |p1_k - p2_k|.
• 타깃 피처에서의 불일치를 최대화하도록 F1과 F2를 학습하되 소스 데이터를 올바르게 분류하도록 한다(단계 B).
• 생성기 G를 학습하여 타깃 피처에서의 불일치를 최소화한다(단계 C).
• 단계 A는 G, F1, F2를 함께 학습시켜 소스 분류 손실을 최소화함으로써 소스 데이터에 대해 판별 가능한 특징을 보장한다.
• 타깃 샘플의 불일치 손실은 |d(p1, p2)|이며 p1, p2는 F1과 F2의 소프트맥스 출력이다.

실험 결과

연구 질문

• RQ1 작업 특유의 결정 경계를 활용하여 분포 매칭을 넘어 비지도 도메인 적응을 개선할 수 있는가?
• RQ2 대상 데이터에서 두 분류기 간의 불일치를 최대화하는 것이 소스 지원 밖의 샘플을 식별하고 피처 생성을 소스 분포로 되돌리는 데 도움이 되는가?
• RQ3 불일치 기반의 적대적 학습이 숫자 인식, 교통 표지판, 객체 분류, 의미론적 세그멘테이션 작업의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안한 방법은 여러 데이터셋에서 다양한 분포 매칭 기반 기준선(e.g., MMD, DANN, DSN, ADDA, CoGAN, PixelDA)보다 우수한 성능을 보인다.
• 하이퍼 파라미터 n(한 단계당 생성기 업데이트 횟수)을 증가시키면 도메인 시프트가 큰 경우 특히 성능이 향상된다.
• 타깃 데이터에서의 두 분류기 간의 불일치는 판별자 단계에서 피크를 이루고 생성기가 불일치를 줄일수록 감소하며 타깃 정확도와 상관관계가 있다.
• 적응 후 대상 샘플이 더 판별 가능해지고 타깃 피처가 소스 클래스 구조에 정렬되며 분포를 완전히 일치시키지는 않는다를 시각적으로 보여준다.
• 이 접근법은 VisDA 분류, 숫자 인식, 교통 표지판, GTA5에서 Cityscapes로의 의미론적 세그멘테이션 작업에서 강력한 결과를 낸다.