[논문 리뷰] Deep CORAL: Correlation Alignment for Deep Domain Adaptation

Baochen Sun, Kate Saenko|arXiv (Cornell University)|2016. 07. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 368

한 줄 요약

Deep CORAL은 differentiable CORAL 손실을 딥 네트워크에 통합하여 소스와 타깃 특징의 공분산을 정렬하고, 지도 없이 엔드 투 엔드로 도메인 적응을 가능하게 하며 최첨단 결과를 달성합니다.

ABSTRACT

Deep neural networks are able to learn powerful representations from large quantities of labeled input data, however they cannot always generalize well across changes in input distributions. Domain adaptation algorithms have been proposed to compensate for the degradation in performance due to domain shift. In this paper, we address the case when the target domain is unlabeled, requiring unsupervised adaptation. CORAL is a "frustratingly easy" unsupervised domain adaptation method that aligns the second-order statistics of the source and target distributions with a linear transformation. Here, we extend CORAL to learn a nonlinear transformation that aligns correlations of layer activations in deep neural networks (Deep CORAL). Experiments on standard benchmark datasets show state-of-the-art performance.

연구 동기 및 목표

• 대상 도메인이 라벨이 없는 비지도 학습 도메인 적응의 필요성을 제시한다.
• CORAL을 엔드-투-엔드 학습을 위한 딥하고 미분가능한 손실로 확장한다.
• 계층 활성화의 상관관계를 도메인 간 정렬하는 비선형 변환을 학습한다.
• 표준 도메인 적응 벤치마크에서 우수한 성능을 입증한다.

제안 방법

• CORAL 손실을 소스와 타깃 공분산 행렬 간의 제곱 Frobenius 노름으로 정의한다.
• 네트워크의 선택된 층에서 배치 활성화로부터 공분산을 계산한다.
• 엔드-투-엔드 목적함수에서 표준 분류 손실과 CORAL 손실을 결합한다.
• 소스 경로와 타깃 경로에서 공유된 매개변수를 사용하고, 소스 데이터는 라벨이 있고 타깃 데이터는 라벨이 없는 방식으로 학습한다.
• 다양한 층이나 구조에 CORAL 손실을 적용하고, AlexNet의 마지막 분류기 층(fc8)에서의 적용 예를 보여준다.

실험 결과

연구 질문

• RQ1 미분 가능한 CORAL 손실을 딥 네트워크에 통합하여 비지도 도메인 적응을 달성할 수 있는가?
• RQ2 깊은 특징의 2차 통계(공분산)를 정렬하는 것이 타깃 도메인 성능을 라벨이 없는 타깃 데이터에서도 향상시키는가?
• RQ3 Deep CORAL은 표준 벤치마크에서 기존의 비지도 도메인 적응 방법과 어떻게 비교되는가?

주요 결과

전이	A → D	A → W	D → A	D → W	W → A	W → D	AVG
GFK	52.4 ± 0.0	54.7 ± 0.0	43.2 ± 0.0	92.1 ± 0.0	41.8 ± 0.0	96.2 ± 0.0	63.4
SA	50.6 ± 0.0	47.4 ± 0.0	39.5 ± 0.0	89.1 ± 0.0	37.6 ± 0.0	93.8 ± 0.0	59.7
TCA	46.8 ± 0.0	45.5 ± 0.0	36.4 ± 0.0	81.1 ± 0.0	39.5 ± 0.0	92.2 ± 0.0	56.9
CORAL	65.7 ± 0.0	64.3 ± 0.0	48.5 ± 0.0	96.1 ± 0.0	48.2 ± 0.0	99.8 ± 0.0	70.4
CNN	63.8 ± 0.5	61.6 ± 0.5	51.1 ± 0.6	95.4 ± 0.3	49.8 ± 0.4	99.0 ± 0.2	70.1
DDC	64.4 ± 0.3	61.8 ± 0.4	52.1 ± 0.8	95.0 ± 0.5	52.2 ± 0.4	98.5 ± 0.4	70.6
DAN	65.8 ± 0.4	63.8 ± 0.4	52.8 ± 0.4	94.6 ± 0.5	51.9 ± 0.5	98.8 ± 0.6	71.3
D-CORAL	66.8 ± 0.6	66.4 ± 0.4	52.8 ± 0.2	95.7 ± 0.3	51.5 ± 0.3	99.2 ± 0.1	72.1

• Deep CORAL은 Office 벤치마크에서 7개의 베이스라인과 비교하여 최첨단 성능을 달성한다.
• 도메인 쉬프트 중 6개 중 3개에서 Deep CORAL이 가장 높은 정확도를 얻고, 나머지 3개에서도 이득은 보수적이다(≤0.7).
• 분류 손실과 CORAL 손실의 결합은 소스 도메인과 타깃 도메인에서 균형 잡힌 개선을 보여준다.
• 시각적 분석은 CORAL이 미세 조정 중 도메인 차이를 작게 만들고 소스의 판별력을 보존하도록 한다.
• 엔드-투-엔드 CORAL 손실은 CNN과 원활하게 통합되며 다양한 층과 아키텍처에 적용 가능하다.