[논문 리뷰] Unsupervised Domain Adaptation with Residual Transfer Networks

Mingsheng Long, Zhu Han외 2명|arXiv (Cornell University)|2016. 02. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 1,008

한 줄 요약

이 논문은 소스-타깃 분류기 차이를 잔차 함수로 모델링하고 다층 특징을 텐서 MMD로 정렬하여 비지도 도메인 적응에서 이전 가능한 특징과 적응형 분류기를 함께 학습하는 Residual Transfer Networks (RTN)를 소개하며 표준 벤치마크에서 최첨단 결과를 달성한다.

ABSTRACT

The recent success of deep neural networks relies on massive amounts of labeled data. For a target task where labeled data is unavailable, domain adaptation can transfer a learner from a different source domain. In this paper, we propose a new approach to domain adaptation in deep networks that can jointly learn adaptive classifiers and transferable features from labeled data in the source domain and unlabeled data in the target domain. We relax a shared-classifier assumption made by previous methods and assume that the source classifier and target classifier differ by a residual function. We enable classifier adaptation by plugging several layers into deep network to explicitly learn the residual function with reference to the target classifier. We fuse features of multiple layers with tensor product and embed them into reproducing kernel Hilbert spaces to match distributions for feature adaptation. The adaptation can be achieved in most feed-forward models by extending them with new residual layers and loss functions, which can be trained efficiently via back-propagation. Empirical evidence shows that the new approach outperforms state of the art methods on standard domain adaptation benchmarks.

연구 동기 및 목표

• 대상 라벨이 없고 도메인 간 분포가 다를 때 도메인 적응의 필요성을 제시한다.
• 공유 분류기 가정을 완화하고 분류기 차이를 잔차 함수로 모델링한다.
• 특징 적응과 분류기 적응을 함께 학습하는 엔드-투-엔드 심층 아키텍처를 개발한다.
• 다층 특징 융합 및 RKHS 임베딩을 통한 분포 정렬을 위한 텐서 곱 기반 접근을 활용한다.
• 표준 도메인 적응 벤치마크에서 최첨단 방법 대비 실험적 이점을 입증한다.

제안 방법

• 소스와 타깃 분류기를 잔차 함수 Δf(x)로 연결하기 위해 residual transfer block으로 CNN을 확장한다.
• 다층 특징을 텐서 곱으로 융합하고 도메인 간 텐서 MMD를 최소화하여 특징 적응을 수행한다.
• 융합된 특징을 재현 커널 힐베르트 공간에 임베딩하고 MMD 기반 분포 일치를 위해 가우스 커널을 적용한다.
• 타깃 데이터에 대한 저밀도 구분을 촉진하여 타깃 분류기를 다듬기 위한 엔트로피 최소화 항을 도입한다.
• λ 및 γ와 함께 소스 감독, 텐서 MMD, 엔트로피 페널티를 결합하여 역전파로 RTN을 엔드-투-엔드로 학습한다.

실험 결과

연구 질문

• RQ1 잔차 함수가 비지도 도메인 적응에서 소스-타깃 분류기를 효과적으로 잇는가?
• RQ2 다층 특징 융합과 텐서 MMD가 층별 MMD 페널티보다 도메인 정렬에 우수한가?
• RQ3 엔트로피 최소화를 도입하면 타깃 분포와의 정렬이 향상되는가?
• RQ4 jointly 학습된 transferable features와 adaptive classifiers가 표준 벤치마크에서 기존 방법에 비해 어떤 성능을 보이는가?
• RQ5 큰 도메인 간 시프트를 가진 난이도 높은 전이 작업에서 잔차 분류기 적응의 영향은 무엇인가?

주요 결과

방법	A→W	D→W	W→D	A→D	D→A	W→A	평균
RTN (mmd+ent+res)	73.3	96.8	99.6	71.0	50.5	51.0	73.7

• RTN은 표준 도메인 적응 벤치마크에서 최첨단 방법보다 우수한 성능을 보이며, 특히 A→W 및 C→W와 같은 harder transfer 작업에서 두드러진다.
• 멀티-레이어 특징 적응을 위한 단일 텐서 MMD 페널티가 다층 특성 페널티에 비해 모델 선택 및 성능을 향상시킨다.
• 타깃 데이터에 대한 저밀도 구분을 촉진하는 엔트로피 최소화가 성능을 크게 향상시킨다.
• 잔차 연산 연결과 엔트로피를 모두 포함한 잔차 분류기 적응이 RTN 변형 중 최상의 전반적 결과를 제공한다.
• RTN은 특징과 분류기를 엔드-투-엔드로 적응시키는 것이 단순 특징 적응보다 더 안전하고 효과적인 도메인 적응을 가능하게 한다。」,