[논문 리뷰] DART: Domain-Adversarial Residual-Transfer Networks for Unsupervised Cross-Domain Image Classification

Xianghong Fang, Haoli Bai외 4명|arXiv (Cornell University)|2018. 12. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 9

한 줄 요약

이 논문은 도메인 적대적 훈련을 통해 도메인 불변 특징을 공동으로 학습하고 잔차-전달 전략을 통해 분류기의 강건성을 향상시켜 교차 도메인 이미지 분류 성능을 향상시키는 새로운 비지도 도메인 적응 방법 DART를 제안한다. 이 방법은 레이블 분류기 이동을 모델링하고 특징과 레이블의 공동 분포를 정렬하여 벤치마크 데이터셋에서 최신 기술(SOTA)을 초월한다.

ABSTRACT

The accuracy of deep learning (e.g., convolutional neural networks) for an image classification task critically relies on the amount of labeled training data. Aiming to solve an image classification task on a new domain that lacks labeled data but gains access to cheaply available unlabeled data, unsupervised domain adaptation is a promising technique to boost the performance without incurring extra labeling cost, by assuming images from different domains share some invariant characteristics. In this paper, we propose a new unsupervised domain adaptation method named Domain-Adversarial Residual-Transfer (DART) learning of Deep Neural Networks to tackle cross-domain image classification tasks. In contrast to the existing unsupervised domain adaption approaches, the proposed DART not only learns domain-invariant features via adversarial training, but also achieves robust domain-adaptive classification via a residual-transfer strategy, all in an end-to-end training framework. We evaluate the performance of the proposed method for cross-domain image classification tasks on several well-known benchmark data sets, in which our method clearly outperforms the state-of-the-art approaches.

연구 동기 및 목표

• 대상 도메인의 레이블 데이터가 가용하지 않은 비지도 교차 도메인 이미지 분류 문제를 해결하기 위해.
• 기존 도메인 적응 방법이 동일한 소스 및 타겟 분류기를 가정하는 데서 기인하는 제한성에 대비하기 위해, 이는 도메인 이동으로 인해 종종 실패하기 때문이다.
• 도메인 간 특징과 레이블의 공동 분포를 공동 정렬함으로써 특징 전이 가능성 향상.
• 편미네이션 함수를 사용해 소스 및 타겟 분류기 간의 미세한 이동을 모델링함으로써 분류기의 강건성 향상.
• 확장성과 실용적 구현을 위해 표준 역전파(back-propagation)를 사용하는 엔드 투 엔드 훈련 가능하게 하기 위해.

제안 방법

• 세 가지 구성 요소(특징 추출기, 레이블 분류기, 도메인 분류기)를 갖춘 도메인 적대적 잔차-전달(DART) 네트워크 아키텍처를 도입한다.
• 특징이 소스 도메인과 타겟 도메인 간에 구분되지 않도록 하여 도메인 간 격차를 최소화하기 위해 도메인 적대적 훈련을 적용한다.
• 소스 및 타겟 분류기 간의 편미네이션을 모델링하기 위해 레이블 분류기에 잔차 모듈을 통합하여 도메인 이동에 대한 강건성 향상.
• 특징과 레이블의 공동 분포를 크로네커 곱(Kronecker product)을 사용해 정렬하여 특징-레이블 맵을 생성함으로써 분류 능력 향상.
• 도메인 격차와 분류 오차를 동시에 최소화하는 공동 최적화 프레임워크를 사용하여 엔드 투 엔드 방식으로 최적화.
• 표준 역전파를 사용하여 훈련함으로써 대부분의 딥러닝 프레임워크와의 호환성 확보.

Figure 1: A well-trained source classifier may fail to classify images in the target domain correctly. By adding a perturbation function, the target classifier corrects the mistakes made by the source classifier on the target domain. Here the red dots and green triangles denote image samples from th

실험 결과

연구 질문

• RQ1 특징과 레이블의 공동 분포 정렬이 근사 분포 정렬에 비해 비지도 도메인 적응 성능 향상에 기여하는가?
• RQ2 소스 및 타겟 도메인 간 분류기 편미네이션을 모델링함으로써 교차 도메인 환경에서 분류기의 강건성이 어떻게 향상되는가?
• RQ3 도메인 적대적 훈련과 잔차-전달 학습을 조합한 방법이 비지도 교차 도메인 이미지 분류에서 기존 최신 기술(SOTA)을 초월하는가?
• RQ4 대상 도메인에 레이블 데이터가 없을 때 제안된 방법이 도메인 이동 영향을 어느 정도 감소시키는가?
• RQ5 엔드 투 엔드로 훈련 가능한 DART 프레임워크는 다양한 벤치마크 데이터셋에서 확장성과 일반화 능력을 유지하는가?

주요 결과

• DART는 비지도 교차 도메인 이미지 분류를 위한 여러 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.
• 특징과 레이블의 공동 분포를 공동 정렬함으로써 DANN 및 기타 최신 기술(SOTA) 방법보다 뚜렷하게 뛰어난 성능을 보인다.
• 잔차-전달 전략은 소스 분류기가 타겟 도메인 샘플에 대해 잘못 분류한 경우를 효과적으로 수정하며, 그림 1에서 이를 시각화하였다.
• 도메인 적대적 훈련과 공동 분포 정렬을 조합함으로써 더 구분력 있고 도메인 불변인 특징를 생성한다.
• 모델은 강건성과 확장성을 보이며, 표준 딥러닝 라이브러리와 호환되는 엔드 투 엔드 훈련이 가능하다.
• 실험 결과는 분류기 편미네이션을 모델링함으로써 일반화 능력 향상이 가능하며, 특히 소스 및 타겟 도메인이 미세하지만 영향력 있는 분포 이동을 보일 경우에 뚜렷하게 나타난다.

Figure 2: The architectures of Domain-Adversarial Residual-Transfer Networks (DART), which consists of a deep feature extractor (yellow), a deep label classifier (blue) and a domain classifier (purple). $\oplus$ means the plus operator while $\otimes$ represents the Kronecker product. The crossing l