[논문 리뷰] Adversarial Discriminative Domain Adaptation

Eric Tzeng, Judy Hoffman외 2명|arXiv (Cornell University)|2017. 02. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 454

한 줄 요약

ADDA는 discriminative 소스 표현, 비공유(비대칭) 타깃 매핑, 그리고 GAN 기반 적대적 손실을 갖춘 비지도 도메인 적응 방법을 도입하여 cross-domain digit 데이터셋과 cross-modality RGB-to-depth 태스크에서 최첨단 성능을 달성합니다.

ABSTRACT

Adversarial learning methods are a promising approach to training robust deep networks, and can generate complex samples across diverse domains. They also can improve recognition despite the presence of domain shift or dataset bias: several adversarial approaches to unsupervised domain adaptation have recently been introduced, which reduce the difference between the training and test domain distributions and thus improve generalization performance. Prior generative approaches show compelling visualizations, but are not optimal on discriminative tasks and can be limited to smaller shifts. Prior discriminative approaches could handle larger domain shifts, but imposed tied weights on the model and did not exploit a GAN-based loss. We first outline a novel generalized framework for adversarial adaptation, which subsumes recent state-of-the-art approaches as special cases, and we use this generalized view to better relate the prior approaches. We propose a previously unexplored instance of our general framework which combines discriminative modeling, untied weight sharing, and a GAN loss, which we call Adversarial Discriminative Domain Adaptation (ADDA). We show that ADDA is more effective yet considerably simpler than competing domain-adversarial methods, and demonstrate the promise of our approach by exceeding state-of-the-art unsupervised adaptation results on standard cross-domain digit classification tasks and a new more difficult cross-modality object classification task.

연구 동기 및 목표

• 도메인 시프트와 데이터셋 편향 하에서 강력한 비지도 도메인 적응의 필요성을 동기화한다.
• 적대적 도메인 적응을 위한 통합 프레임워크를 제안하고 설계 선택지를 분석한다.
• ADDA를 판별적이고, 비공유 가중치를 갖는 GAN 기반의 구현으로 소개한다.
• cross-domain digit 데이터셋과 cross-modality RGB-to-depth 태스크에서 ADDA의 효과를 입증한다.

제안 방법

• 적대적 비지도 적응을 위한 일반화된 프레임워크를 제시한다.
• 도메인 판별기 D를 사용하여 소스 인코딩 특징과 타깃 인코딩 특징을 구분한다.
• 소스 인코더 M_s로부터 비공유 가중치를 갖는 비대칭 타깃 인코더 M_t를 사용한다.
• D를 속이도록 M_t를 학습시키기 위한 GAN 스타일의 적대적 손실을 적용한다(반전된 라벨 GAN 손실).
• 소스 데이터에 라벨이 있는 상태로 M_s와 분류기 C_s를 초기화하고 타깃 적응 중 M_s를 고정한다.
• 이미지 공간 제너레이터가 없어도 판별적 모델링만으로 충분함을 입증한다.

실험 결과

연구 질문

• RQ1 이미지 생성 없이도 판별적이고 비대칭적이며 GAN 기반의 적응 프레임워크가 경쟁력 있는 비지도 도메인 적응을 달성할 수 있는가?
• RQ2 소스와 타깃 인코더 간의 가중치를 공유하지 않는 것이 대칭적 공유 가중치 접근 방식보다 적응을 향상시키는가?
• RQ3 표준 크로스 도메인 숫자 이동과 크로스 모달리티 RGB-to-depth 이동에서 ADDA의 성능은 어떤가?
• RQ4 도메인 적응을 위한 통합 프레임워크 내에서 다양한 적대적 손실의 효과는 무엇인가?

주요 결과

방법	MNIST → USPS	USPS → MNIST	SVHN → MNIST
소스만	0.752±0.016	0.571±0.017	0.601±0.011
Gradient 역전	0.771±0.018	0.730±0.020	0.739
도메인 혼동	0.791±0.005	0.665±0.033	0.681±0.003
CoGAN	0.912±0.008	0.891±0.008	수렴하지 않음
ADDA (저희 제안)	0.894±0.002	0.901±0.008	0.760±0.018

• ADDA는 MNIST, USPS, SVHN에서 비지도 적응에 대해 state-of-the-art 또는 경쟁력 있는 결과를 세 방향 숫자 태스크에서 달성한다.
• MNIST→USPS, USPS→MNIST, 그리고 SVHN→MNIST에서 ADDA는 각각 0.894±0.002, 0.901±0.008, 0.760±0.018을 달성한다.
• NYU depth RGB-to-depth 교차 모달리티 적응에서 평균 정확도는 ADDA 이후 13.9%(소스만)에서 21.1%로 향상된다.
• ADDA는 라벨이 달린 타깃 데이터나 이미지 공간 제너레이터를 필요로 하지 않고도 강력한 교차 도메인 및 교차 모달리티 전이성을 보여준다.
• 이 방법은 여러 도메인 시프트에서 여러 경쟁적 적대적 접근법보다 우수한 성능을 보이며 비대칭 매핑의 이점에 대한 통찰을 제공한다.