[논문 리뷰] Learning Transferable Features with Deep Adaptation Networks

Mingsheng Long, Yue Cao외 2명|arXiv (Cornell University)|2015. 02. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 2,837

한 줄 요약

DAN은 심층 네트워크에 다층, 다커널 MK-MMD 기반의 도메인 적응을 도입하여 상위 계층에서 소스와 타깃 특성 분포를 맞춰 전이 가능성을 향상시키고 표준 벤치마크에서 최첨단 결과를 달성한다.

ABSTRACT

Recent studies reveal that a deep neural network can learn transferable features which generalize well to novel tasks for domain adaptation. However, as deep features eventually transition from general to specific along the network, the feature transferability drops significantly in higher layers with increasing domain discrepancy. Hence, it is important to formally reduce the dataset bias and enhance the transferability in task-specific layers. In this paper, we propose a new Deep Adaptation Network (DAN) architecture, which generalizes deep convolutional neural network to the domain adaptation scenario. In DAN, hidden representations of all task-specific layers are embedded in a reproducing kernel Hilbert space where the mean embeddings of different domain distributions can be explicitly matched. The domain discrepancy is further reduced using an optimal multi-kernel selection method for mean embedding matching. DAN can learn transferable features with statistical guarantees, and can scale linearly by unbiased estimate of kernel embedding. Extensive empirical evidence shows that the proposed architecture yields state-of-the-art image classification error rates on standard domain adaptation benchmarks.

연구 동기 및 목표

• 데이터셋 편향을 줄이고 비지도 및 반감독 도메인 적응을 위한 심층 네트워크의 전이 가능성을 높일 필요성 제시.
• 작업 특성 계층 표현을 RKHS에 포함시키고 도메인 간 평균 임베딩을 일치시키는 심층 적응 아키텍처(DAN) 제안.
• 분포 매칭을 최적화하기 위한 다커널 MK-MMD 전략 개발로 커널을 최적으로 선택.
• 커널 평균 임베딩의 바른 추정기를 이용해 선형 시간 복잡도의 학습 가능하게 확장.
• 표준 도메인 적응 벤치마크에서 최첨단 방법 대비 실험적 성능 향상 입증

제안 방법

• 작업 특성 계층의 숨겨진 표현을 재현 커널 힐버트 공간(RKHS)으로 매핑하여 도메인 간 평균 임베딩을 맞춘다.
• 다커널 MK-MMD를 사용해 소스와 타깃 계층 표현 간 도메인 차이를 측정하고 최소화한다.
• 편향 없는 선형 시간 MK-MMD 추정기를 적용해 미니배치 SGD로 확장 가능한 학습을 가능하게 한다.
• 사전 학습된 AlexNet 모델을 초기 합성곱층은 고정하고 상위 계층을 MK-MMD 규제(l1=6에서 l2=8)로 적응시키며 미세 조정한다.
• 커널 계수를 이차 계획법으로 최적화해 테스트 파워를 최대화하고 2형 오류를 최소화한다(θ 최적화와 교대로).
• 대상 위험이 소스 위험과 MK-MMD로 정량화된 도메인 차이에 의해 연결되는 이론적 경계를 제공한다

실험 결과

연구 질문

• RQ1 소스 도메인과 타깃 도메인 간의 도메인 차이를 줄이기 위해 여러 깊은 네트워크 계층을 어떻게 적응시킬 수 있는가?
• RQ2 다커널 MK-MMD 접근법이 단일 커널 방법에 비해 심층 표현의 분포 매칭 효율을 향상시킬 수 있는가?
• RQ3 MK-MMD를 심층 네트워크의 규제항으로 통합하면 확장 가능한 경험적으로 우수한 도메인 적응을 얻을 수 있는가?
• RQ4 DAN이 표준 도메인 적응 벤치마크에서 이전 방법들에 비해 어떤 경험적 이점을 보여주는가?

주요 결과

방법	A→W	D→W	W→D	A→D	D→A	W→A	평균
DAN	68.5 ± 0.4	96.0 ± 0.3	99.0 ± 0.2	67.0 ± 0.4	54.0 ± 0.4	53.1 ± 0.3	72.9

• DAN은 Office-31 비지도 도메인 적응 과제에서 최첨단 정확도를 달성하며, 예를 들어 DAN은 다양한 과제에서 68.5 ± 0.4%, 96.0 ± 0.3%, 99.0 ± 0.2%, 67.0 ± 0.4%, 54.0 ± 0.4%, 53.1 ± 0.3%, 72.9의 평균으로 72.9%를 달성한다.
• 다층 적응(fc7–fc8)은 단일 계층 버전보다 우수하며, 다층 MK-MMD를 사용하는 DAN은 단일 커널 및 단일 계층 기준선인 DDC 등을 능가한다.
• 다커널 MK-MMD(DAN)는 전이 작업 전반에 걸쳐 단일 커널 버전 및 다른 기초 방법들에 비해 일관되게 성능을 향상시킨다.
• 이 방법은 Office-31 및 Office-10 + Caltech-10 벤치마크에서 견고한 성능을 보이며 TCA, GFK, CNN 기반 접근법 및 이전 도메인 적응 방법들을 능가한다.