[논문 리뷰] Deep Reconstruction-Classification Networks for Unsupervised Domain Adaptation

Muhammad Ghifary, W. Bastiaan Kleijn외 3명|arXiv (Cornell University)|2016. 07. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 58

한 줄 요약

이 논문은 깊이 있는 재구성-분류 네트워크(DRCN)를 제안하며, 공유 인코더를 통해 소스 도메인 분류와 타겟 도메인 데이터 재구성이라는 두 가지 작업을 동시에 학습하는 딥 러닝 모델이다. DRCN은 공유 표현을 통해 분류 가능한 특징과 타겟 도메인의 구조를 모두 포착함으로써, 교차 도메인 객체 인식 작업에서 기존 최고 성능 기법 대비 최대 8% 높은 정확도를 달성한다.

ABSTRACT

In this paper, we propose a novel unsupervised domain adaptation algorithm based on deep learning for visual object recognition. Specifically, we design a new model called Deep Reconstruction-Classification Network (DRCN), which jointly learns a shared encoding representation for two tasks: i) supervised classification of labeled source data, and ii) unsupervised reconstruction of unlabeled target data.In this way, the learnt representation not only preserves discriminability, but also encodes useful information from the target domain. Our new DRCN model can be optimized by using backpropagation similarly as the standard neural networks. We evaluate the performance of DRCN on a series of cross-domain object recognition tasks, where DRCN provides a considerable improvement (up to ~8% in accuracy) over the prior state-of-the-art algorithms. Interestingly, we also observe that the reconstruction pipeline of DRCN transforms images from the source domain into images whose appearance resembles the target dataset. This suggests that DRCN's performance is due to constructing a single composite representation that encodes information about both the structure of target images and the classification of source images. Finally, we provide a formal analysis to justify the algorithm's objective in domain adaptation context.

연구 동기 및 목표

• 라벨이 부여된 소스 데이터와 레이블이 없는 타겟 데이터가 서로 다른데 관련된 도메인에서 오는 데이터 세트 편향 문제를 해결한다.
• 학습 데이터와 테스트 데이터가 서로 다른 도메인에 속할 경우 실패하는 전통적인 지도 학습의 한계를 극복한다.
• 타겟 레이블이 필요 없이 레이블이 없는 타겟 데이터를 활용하여 일반화 성능을 향상시키는 확장 가능한 딥 러닝 기반 도메인 적응 방법을 개발한다.
• 소스 분류와 타겟 재구성을 동시에 최적화하여 공유된 도메인 불변 표현을 학습하는 다중 작업 학습 프레임워크를 설계한다.
• 이론적 분석을 통해 알고리즘의 목적을 정당화하며, 이를 반감독 학습과 연결하고 타겟 데이터만을 사용한 재구성의 타당성을 검증한다.

제안 방법

• 분류 및 재구성 작업에 모두 사용할 수 있는 공유 인코더를 갖춘 깊이 컨volution 신경망 아키텍처를 제안하며, 별도의 디코더를 유지한다.
• 교대로 최적화를 사용하여 모델을 학습한다: 라벨이 부여된 소스 데이터에 대한 지도 학습과, 레이블이 없는 타겟 데이터에 대한 비지도 학습.
• 교차 엔트로피 손실(소스 레이블 예측용)과 재구성 손실(L2 또는 L1 등)을 조합한 공동 손실 함수를 사용하며, 하이퍼파rameter λ로 가중치를 조절한다.
• 재구성 능력을 활용하여 소스 이미지를 타겟 도메인의 외관과 유사하게 변환함으로써 소스 및 타겟 도메인 분포를 암묵적으로 정렬한다.
• 백프로파게이션을 적용하여 엔드 투 엔드 최적화를 가능하게 하여 확장성과 GPU 병렬 처리를 지원한다.
• 이론적 분석을 통해 DRCN 목적함수는 조건부 분포 이동 가정 하에 반감독 학습 프레임워크를 근사함을 보여주며, 타겟 데이터만을 사용한 재구성의 타당성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 기존의 사전학습-피니팅 전략에 비해 분류와 재구성을 동시에 학습시키는 것이 도메인 적응 성능 향상에 기여하는가?
• RQ2 공유 표현에서 타겟 도메인 유사 특징을 재구성하는 것은 얼마나 타겟 도메인으로의 일반화 성능 향상에 기여하는가?
• RQ3 오직 레이블이 없는 타겟 데이터만을 사용한 재구성 작업이 이론적으로 타당한가? 반감독 학습 원칙과는 어떻게 관련되는가?
• RQ4 DRCN 모델은 교차 도메인 객체 인식 벤치마크에서 정확도와 확장성 측면에서 기존 최고 수준의 도메인 적응 방법과 어떻게 비교되는가?
• RQ5 재구성된 소스 이미지의 외관이 타겟 도메인과 유사한가? 이는 공유 표현에서의 성공적인 도메인 정렬을 나타내는가?

주요 결과

• DRCN은 여러 교차 도메인 객체 인식 작업에서 이전 최고 수준의 도메인 적응 알고리즘 대비 최대 8% 높은 정확도를 달성한다.
• DRCN 모델을 통해 재구성된 소스 이미지의 시각적 결과는 타겟 도메인과 유사하게 나타나, 공유 표현에서 효과적인 도메인 정렬이 이루어졌음을 시사한다.
• 표준 사전학습-피니팅 전략보다 DRCN이 성능이 뛰어나, 교대로 최적화하는 공동 학습 전략이 비지도 도메인 적응에 더 효과적임을 입증한다.
• 이론적 분석을 통해 DRCN 목적함수는 조건부 분포 이동 하에서 반감독 학습 프레임워크와 일관됨을 확인하였으며, 타겟 데이터만을 사용한 재구성의 타당성을 뒷받침한다.
• 재구성 과정에서 레이블이 없는 소스 데이터를 포함시키는 것은 성능 향상에 기여하지 않으며, 오히려 성능 저하를 초래할 수 있음을 아블레이션 및 이론적 분석을 통해 입증하였다.
• 모델의 성공은 소스 레이블의 구조와 타겟 도메인 통계를 모두 포함하는 복합 표현을 학습하기 때문으로 분석된다.