[논문 리뷰] Conditional Adversarial Domain Adaptation

Mingsheng Long, Zhangjie Cao외 2명|arXiv (Cornell University)|2017. 05. 26.

Domain Adaptation and Few-Shot Learning인용 수 1,428

한 줄 요약

CDAN은 특징과 분류기 예측 간의 교차 공분산을 이용하는 조건부 적대적 도메인 판별기를 도입하여 멀티모달 도메인 분포를 정렬하고, 여러 벤치마크에서 최첨단 결과를 달성합니다(엔트로피 조건화 옵션 포함).

ABSTRACT

Adversarial learning has been embedded into deep networks to learn disentangled and transferable representations for domain adaptation. Existing adversarial domain adaptation methods may not effectively align different domains of multimodal distributions native in classification problems. In this paper, we present conditional adversarial domain adaptation, a principled framework that conditions the adversarial adaptation models on discriminative information conveyed in the classifier predictions. Conditional domain adversarial networks (CDANs) are designed with two novel conditioning strategies: multilinear conditioning that captures the cross-covariance between feature representations and classifier predictions to improve the discriminability, and entropy conditioning that controls the uncertainty of classifier predictions to guarantee the transferability. With theoretical guarantees and a few lines of codes, the approach has exceeded state-of-the-art results on five datasets.

연구 동기 및 목표

• 도메인 분포가 멀티모달하고 다양할 때 로버스트한 도메인 적응을 동기화합니다.
• 도메인 정렬을 이끌기 위해 분류기 예측을 활용하는 조건부 적대적 프레임워크를 제안합니다.
• 교차 도메인 특징-클래스 의존성과 불확실성을 모델링하기 위해 다중 선형 조건화와 엔트로피 조건화를 도입합니다.
• 도메인 적응 이론 하에서 CDAN의 일반화 보장을 이론적으로 제공합니다.
• 여러 벤치마크 데이터셋에서 최첨단 방법 대비 경험적 개선을 입증합니다.

제안 방법

• 조건부 도메인 적대 네트워크(CDAN)를 joint feature-class 표현 h=(f,g)에 조건화된 도메인 판별자 D와 함께 minimax 게임으로 정의합니다.
• 특징과 예측 간의 교차 공분산을 포착하기 위해 다중 선형 조건화 맵 f ⊗ g를 사용하고, 차원이 높을 때 무작위 근사 T⊙를 적용합니다.
• 필요에 따라 엔트로피 조건화를 적용해 g의 예측 불확실성으로 예시를 가중치화합니다(CDAN+E).
• 조건화가 멀티모달 분포를 모델링하는 데 도움이 되며 Δ-거리 기반 분석으로 타깃 위험을 구간화(bound)한다고 증명합니다.
• 분판자(discriminator)에 대한 역전파 이용 선형 시간 학습 방식과 점진적 학습 스케줄을 제공하여 훈련합니다.

실험 결과

연구 질문

• RQ1 적대적 도메인 적응을 어떻게 개선해 멀티모달하고 복잡한 도메인 시프트를 다룰 수 있을까?
• RQ2 도메인 판별자를 분류기 예측(및 그 불확실성)으로 조건화하는 것이 더 나은 도메인 정렬과 타깃 성능을 가져오는가?
• RQ3 CDAN에 대해 도메인 적응 이론 내에서 일반화 경계(bound)를 수립할 수 있는가?
• RQ4 다중 선형 및 엔트로피 조건화가 표준 도메인 적응 벤치마크에서 어떤 경험적 이득을 제공하는가?

주요 결과

Method	A→W	D→W	W→D	A→D	D→A	W→A	Avg
AlexNet	61.6 ± 0.5	95.4 ± 0.3	99.0 ± 0.2	63.8 ± 0.5	51.1 ± 0.6	49.8 ± 0.4	70.1
DAN	68.5 ± 0.5	96.0 ± 0.3	99.0 ± 0.3	67.0 ± 0.4	54.0 ± 0.5	53.1 ± 0.5	72.9
RTN	73.3 ± 0.3	96.8 ± 0.2	99.6 ± 0.1	71.0 ± 0.2	50.5 ± 0.3	51.0 ± 0.1	73.7
DANN	73.0 ± 0.5	96.4 ± 0.3	99.2 ± 0.3	72.3 ± 0.3	53.4 ± 0.4	51.2 ± 0.5	74.3
ADDA	73.5 ± 0.6	96.2 ± 0.4	98.8 ± 0.4	71.6 ± 0.4	54.6 ± 0.5	53.5 ± 0.6	74.7
JAN	74.9 ± 0.3	96.6 ± 0.2	99.5 ± 0.2	71.8 ± 0.2	58.3 ± 0.3	55.0 ± 0.4	76.0
CDAN	77.9 ± 0.3	96.9 ± 0.2	100.0 ± 0.0	75.1 ± 0.2	54.5 ± 0.3	57.5 ± 0.4	77.0
CDAN+E	78.3 ± 0.2	97.2 ± 0.1	100.0 ± 0.0	76.3 ± 0.1	57.3 ± 0.2	57.3 ± 0.3	77.7
ResNet-50	68.4 ± 0.2	96.7 ± 0.1	99.3 ± 0.1	68.9 ± 0.2	62.5 ± 0.3	60.7 ± 0.3	76.1
DAN	80.5 ± 0.4	97.1 ± 0.2	99.6 ± 0.1	78.6 ± 0.2	63.6 ± 0.3	62.8 ± 0.2	80.4
RTN	84.5 ± 0.2	96.8 ± 0.1	99.4 ± 0.1	77.5 ± 0.3	66.2 ± 0.2	64.8 ± 0.3	81.6
DANN	82.0 ± 0.4	96.9 ± 0.2	99.1 ± 0.1	79.7 ± 0.4	68.2 ± 0.4	67.4 ± 0.5	82.2
ADDA	86.2 ± 0.5	96.2 ± 0.3	98.4 ± 0.3	77.8 ± 0.3	69.5 ± 0.4	68.9 ± 0.5	82.9
JAN	85.4 ± 0.3	97.4 ± 0.2	99.8 ± 0.2	84.7 ± 0.3	68.6 ± 0.3	70.0 ± 0.4	84.3

• CDAN은 다섯 개 벤치마크 데이터셋에서 최첨단 결과를 넘어섭니다.
• 다중 선형 조건화는 특징과 예측 간의 교차 공분산을 포착해 멀티모달 분포를 더 잘 모델링합니다.
• 엔트로피 조건화는 쉽게 전이될 수 있는 예시를 우선시하여 전이 가능성을 높입니다(CDAN+E).
• 오피스-31 및 기타 데이터셋에 대한 실험에서 DANN, JAN, ADDA와 같은 베이스라인 대비 상당한 정확도 향상을 보입니다.
• 본 논문은 도메인 판별자 훈련과 결합 분포 간의 Δ-거리 경계와 관련된 일반화 오차 분석을 제공합니다.