[논문 리뷰] Correlation Alignment for Unsupervised Domain Adaptation

Baochen Sun, Jiashi Feng외 1명|arXiv (Cornell University)|2016. 12. 06.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 도메인 간 분포 차이를 줄이기 위해 소스 및 타겟 도메인의 두 번째 모멘트 통계(공분산 행렬)를 정렬하는 단순하면서도 효과적인 비지도 도메인 적응 방법인 CORAL을 제안한다. 소스와 타겟 특징 공분산 간 프로베니우스 노름(Frobenius norm)을 최소화함으로써, 타겟 레이블이 없이도 효율적인 특징 변환을 가능하게 하며, 특히 딥 네트워크와 결합할 경우 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this chapter, we present CORrelation ALignment (CORAL), a simple yet effective method for unsupervised domain adaptation. CORAL minimizes domain shift by aligning the second-order statistics of source and target distributions, without requiring any target labels. In contrast to subspace manifold methods, it aligns the original feature distributions of the source and target domains, rather than the bases of lower-dimensional subspaces. It is also much simpler than other distribution matching methods. CORAL performs remarkably well in extensive evaluations on standard benchmark datasets. We first describe a solution that applies a linear transformation to source features to align them with target features before classifier training. For linear classifiers, we propose to equivalently apply CORAL to the classifier weights, leading to added efficiency when the number of classifiers is small but the number and dimensionality of target examples are very high. The resulting CORAL Linear Discriminant Analysis (CORAL-LDA) outperforms LDA by a large margin on standard domain adaptation benchmarks. Finally, we extend CORAL to learn a nonlinear transformation that aligns correlations of layer activations in deep neural networks (DNNs). The resulting Deep CORAL approach works seamlessly with DNNs and achieves state-of-the-art performance on standard benchmark datasets. Our code is available at:~\url{https://github.com/VisionLearningGroup/CORAL}

연구 동기 및 목표

• 학습 데이터와 테스트 데이터의 분포가 다를 때 발생하는 시각적 도메인 적응에서의 도메인 시프트 문제를 해결한다.
• 부분적으로만 레이블이 붙은 타겟 데이터를 활용하여 모델의 일반화 성능을 향상시키되, 타겟 데이터에 대한 레이블이 필요로 하지 않는 방법을 개발한다.
• 기존 머신 러닝 파이프라인에 쉽게 통합할 수 있는 단순하고 효율적이며 효과적인 접근 방식을 제안한다.
• 딥 네트워크와의 통합을 통해 종단 간 비지도 적응을 위한 엔드 투 엔드 방법을 개발한다.
• 표준 벤치마크에서 기존 도메인 적응 기법들보다 뛰어난 성능을 보여준다.

제안 방법

• 소스 도메인과 타겟 도메인의 공분산 행렬 간 프로베니우스 노름을 최소화하여 두 번째 모멘트 통계를 정렬한다.
• 타겟 공분산을 사용하여 소스 특징에 선형 변환을 적용한다: 소스 특징을 화이트닝하고 타겟 공분산으로 재색조 조정한다.
• 선형 분류기의 경우, 특징이 아닌 분류기 가중치에 직접 CORAL 변환을 적용하여, 타겟 데이터가 고차원일 경우에도 효율적인 적응을 가능하게 한다.
• CORAL과 선형 판별 분석(LDA)을 결합한 변종인 CORAL-LDA를 도입하여 표준 LDA 대비 성능 향상을 이룬다.
• 중간 레이어의 활성화를 정렬하는 미분 가능한 CORAL 손실 레이어(dCORAL)를 통해 CORAL을 딥 네트워크로 확장한다.
• 어떤 딥 네트워크 아키텍처에도 Deep CORAL을 통합하여 종단 간 비지도 도메인 적응을 수행한다.

실험 결과

연구 질문

• RQ1 두 번째 모멘트 통계 정렬이 비지도 도메인 적응에서 도메인 시프트를 효과적으로 줄일 수 있는가?
• RQ2 정확도와 효율성 측면에서 기존의 부분공간 기반 또는 분포 매칭 기법들과 비교해 CORAL은 어떻게 성능을 내는가?
• RQ3 특징이 아닌 분류기 가중치를 변환함으로써 CORAL이 선형 분류기에 효율적으로 적용될 수 있는가?
• RQ4 제안된 Deep CORAL 방법이 종단 간 딥 도메인 적응에서 최신 기술 수준(SOTA) 성능을 달성하는가?
• RQ5 실제 이미지나 가상 데이터가 소량만 존재할 경우 CORAL의 성능은 어떻게 되는가?

주요 결과

• CORAL-LDA는 표준 LDA보다 교차 도메인 벤치마크에서 뚜렷한 성능 향상을 보이며, DSLR→Webcam 작업에서 평균 정밀도(mAP) 68.2%를 달성한다.
• Deep CORAL은 표준 도메인 적응 벤치마크에서 최신 기술 수준(SOTA) 성능을 기록했으며, Office-31 및 PASCAL VOC 데이터셋에서 이전 방법들을 능가한다.
• CORAL을 활용한 준지도 적응은 DSLR→Webcam 작업에서 71.4% mAP를 기록했으며, ICRA14에서 제시된 방법의 42.9% mAP를 뛰어넘었다.
• 카테고리당 30장의 가상 이미지와 배경 이미지 1,000장만으로도, CORAL은 1,000~2,000장의 실제 ImageNet 이미지로 훈련된 방법과 비교해 유사하거나 더 뛰어난 성능을 보였다.
• 도메인 시프트에 대해 강건한 성능을 보였으며, Virtual-Gray 데이터는 Virtual 데이터를 능가했고, DSLR는 도메인 유사성 덕분에 가장 우수한 성능을 기록했다.
• 비지도 CORAL 방법은 DSLR→Webcam에서 67.1% mAP를 달성했으며, ICRA14의 준지도 기반 기준 방법(42.9% mAP)을 크게 뛰어넘었다.