[논문 리뷰] Deep Transfer Network: Unsupervised Domain Adaptation

Xu Zhang, Felix X. Yu외 2명|arXiv (Cornell University)|2015. 03. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 126

한 줄 요약

이 논문은 깊이 있는 신경망 프레임워크인 딥 트랜스퍼 네트워크(DTN)를 제안한다. DTN은 공유 특징 추출층과 분류기 전환층을 활용해 근사 분포와 조건부 분포를 동시에 일치시키는 비지도 도메인 적응을 위한 방법이다. DTN은 선형 계산 복잡도를 가지며, USPS/MNIST와 같은 대규모 데이터셋에서 기존 방법 대비 최대 28.95% 향상된 최고 성능을 기록한다.

ABSTRACT

Domain adaptation aims at training a classifier in one dataset and applying it to a related but not identical dataset. One successfully used framework of domain adaptation is to learn a transformation to match both the distribution of the features (marginal distribution), and the distribution of the labels given features (conditional distribution). In this paper, we propose a new domain adaptation framework named Deep Transfer Network (DTN), where the highly flexible deep neural networks are used to implement such a distribution matching process. This is achieved by two types of layers in DTN: the shared feature extraction layers which learn a shared feature subspace in which the marginal distributions of the source and the target samples are drawn close, and the discrimination layers which match conditional distributions by classifier transduction. We also show that DTN has a computation complexity linear to the number of training samples, making it suitable to large-scale problems. By combining the best paradigms in both worlds (deep neural networks in recognition, and matching marginal and conditional distributions in domain adaptation), we demonstrate by extensive experiments that DTN improves significantly over former methods in both execution time and classification accuracy.

연구 동기 및 목표

• 학습 데이터의 특징과 레이블 분포가 다를 수 있는 도메인 히프트 문제를 해결한다.
• 기존 도메인 적응 방법의 높은 계산 복잡도(O(n²) 또는 O(n³))로 인해 대규모 데이터셋에 대한 확장성이 제한되는 문제를 해결한다.
• 소스 도메인과 타겟 도메인 간의 근사 분포와 조건부 분포의 불일치를 명시적으로 모델링하고 일치시키는 딥 러닝 기반 프레임워크를 개발한다.
• 대규모 데이터셋에서 효율적인 학습을 위해 선형 시간 복잡도를 유지하면서도 높은 분류 정확도를 달성한다.

제안 방법

• 소스 및 타겟 샘플의 근사 분포를 일치시키기 위해 깊이 있는 신경망 내 공유 특징 추출 층을 사용하여 공유 부분공간을 학습한다.
• 특징에 조건부로 레이블 분포를 일치시켜 분류기 전환을 수행하기 위해 분류기 층을 활용한다.
• 하이퍼파라미터 λ와 μ를 통해 근사 분포 및 조건부 분포 일치의 균형을 맞추는 공동 목적 함수를 최적화한다.
• 미니배치 스토하스틱 최적화를 사용하여 반복적 레이블 개선 기법을 적용하며, 타겟 레이블을 학습 중 20회 갱신하여 분포 추정을 향상시킨다.
• 딥 네트워크의 계층적 특징 학습 능력을 활용하여 얕은 방법보다 더 복잡한 비선형 도메인 히프트를 효과적으로 모델링한다.
• 학습 데이터 크기에 비례해 선형적으로 증가하는 최적화 설계를 통해 확장성을 확보하여 대규모 데이터셋에의 적용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응에서 깊이 있는 신경망이 근사 분포와 조건부 분포를 동시에 일치시키는 데 효과적으로 구조화될 수 있는가?
• RQ2 제안된 딥 트랜스퍼 네트워크(DTN)가 벤치마크 도메인 적응 데이터셋에서 최고 성능을 기록한 기존 방법보다 더 높은 분류 정확도를 달성하는가?
• RQ3 DTN이 샘플 수에 대해 선형 계산 복잡도를 유지하면서도 대규모 데이터셋에 효율적으로 스케일업할 수 있는가?
• RQ4 DTN의 성능가 중요한 하이퍼파라미터인 λ, μ, 배치 크기 S, 반복 횟수 T에 얼마나 민감한가?

주요 결과

• USPS/MNIST 데이터셋에서 DTN은 81.04%의 분류 정확도를 기록하여 최고의 베이스라인 방법(ARRLS) 대비 28.95% 향상된 성능을 보였다.
• 더 큰 CIFAR/VOC 데이터셋에서 DTN은 73.60%의 정확도를 기록하여 최고의 베이스라인(ARRLS) 대비 1.87% 향상된 성능을 보였다.
• DTN은 ARRLS 대비 실행 시간을 크게 단축시켰으며, USPS/MNIST에서 4,548초를 소요한 데 반해 ARRLS는 7,346초가 소요되었다.
• DTN의 학습 시간은 데이터셋 크기에 거의 선형적으로 증가하여 O(n) 계산 복잡도를 확인했으며, ARRLS는 훨씬 더 급격한 증가를 보였다.
• DTN은 GPU 메모리가 3GB 뿐이지만, ARRLS는 커널 행렬을 저장하기 위해 100GB 이상의 메모리가 필요하여 대규모 배포에 있어 DTN이 가능함을 입증했다.
• 하이퍼파라미터 분석 결과 최적의 성능는 λ = μ = 10, 배치 크기 S = 4,000(USPS/MNIST), S = 2,000(CIFAR/VOC), 레이블 개선 반복 횟수 T = 20일 때 달성되었다.