[논문 리뷰] Subspace Alignment For Domain Adaptation

Basura Fernando, Amaury Habrard외 2명|arXiv (Cornell University)|2014. 09. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 38

한 줄 요약

이 논문은 Bregman 발산을 최소화하여 부분공간 간의 도메인 이탈을 줄이는 닫힌 형식의 선형 변환 행렬을 통해 소스 도메인과 타겟 도메인 부분공간을 정렬하는 간단하면서도 효과적인 도메인 적응 방법인 Subspace Alignment(SA)를 제안한다. 이 방법은 최소한의 하이퍼파라미터 튜닝으로도 여러 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, PLS, LDA 및 딥 러닝 기반 베이스라인을 포함한 기존 도메인 적응 방법들을 능가한다.

ABSTRACT

In this paper, we introduce a new domain adaptation (DA) algorithm where the source and target domains are represented by subspaces spanned by eigenvectors. Our method seeks a domain invariant feature space by learning a mapping function which aligns the source subspace with the target one. We show that the solution of the corresponding optimization problem can be obtained in a simple closed form, leading to an extremely fast algorithm. We present two approaches to determine the only hyper-parameter in our method corresponding to the size of the subspaces. In the first approach we tune the size of subspaces using a theoretical bound on the stability of the obtained result. In the second approach, we use maximum likelihood estimation to determine the subspace size, which is particularly useful for high dimensional data. Apart from PCA, we propose a subspace creation method that outperform partial least squares (PLS) and linear discriminant analysis (LDA) in domain adaptation. We test our method on various datasets and show that, despite its intrinsic simplicity, it outperforms state of the art DA methods.

연구 동기 및 목표

• 학습 데이터와 테스트 데이터가 서로 다른 분포에서 유래하는 시각 분류 문제에서 도메인 이탈의 과제를 해결한다.
• 라벨이 부여된 소스 데이터와 레이블이 없는 타겟 데이터만 제공되는 비지도 설정에서 효과적으로 작동하는 도메인 적응 방법을 개발한다.
• 복잡한 최적화나 정규화 튜닝 없이도 계산적으로 효율적이고 이론적으로 탄탄한 방법을 설계한다.
• 원칙적이고 닫힌 형식의 해를 통해 소스와 타겟 부분공간을 정렬하여 도메인 간 일반화 성능을 향상시킨다.
• 교차 검증이 필요 없는 강력하고 자동적인 부분공간 차원 선택을 제공한다.

제안 방법

• PCA를 통해 각 도메인의 공분산 행렬의 최상위 고유벡터로 생성된 부분공간으로 소스 및 타겟 도메인을 표현한다.
• Bregman 발산을 최소화하도록 소스 부분공간을 타겟 부분공간에 정렬하는 선형 변환 행렬 M을 학습한다.
• 소스 및 타겟 고유벡터 행렬의 곱으로 최적의 M를 닫힌 형식으로 유도하여 빠른 계산을 가능하게 한다.
• 최적의 부분공간 차원을 결정하기 위한 두 가지 방법을 제안한다: 이론적 안정성 한계를 사용하는 방법과 최대우도추정법(MLE)을 사용하는 방법(SA-MLE).
• 정합된 소스 부분공간을 사용해 소스 데이터를 투영하고, 타겟 부분공간을 사용해 타겟 데이터를 투영하여 단일 분류기로 공동 분류를 가능하게 한다.
• 소스 도메인의 레이블 정보를 통합하여 소스 부분공간의 구분 능력을 향상시켜 최종 작업 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 소스 및 타겟 부분공간 간의 단순하고 닫힌 형식의 선형 변환은 비지도 도메인 적응에서 도메인 이탈을 효과적으로 줄일 수 있는가?
• RQ2 교차 검증 없이 부분공간 차원을 자동으로 선택할 수 있는 방법은 무엇이며, 이러한 접근법의 이론적 및 실증적 이점은 무엇인가?
• RQ3 PLS, LDA 및 딥 메트릭 러닝과 같은 기존 방법보다 부분공간 정렬이 시각 도메인 적응 과제에서 성능이 뛰어나게 되는가?
• RQ4 소스 도메인에서 레이블 정보를 사용할 경우 정합된 부분공간의 구분 능력은 어떻게 영향을 받는가?
• RQ5 최소한의 아키텍처나 하이퍼파라미터 변경으로 Office, Caltech, ImageNet 및 Pascal-VOC와 같은 다양한 데이터셋 간의 일반화가 가능한가?

주요 결과

• Subspace Alignment는 Office+Caltech-10 데이터셋에서 12개의 도메인 적응 과제 평균 정확도 48.5%로 최신 기술 수준(SOTA) 성능을 달성한다.
• SA-MLE 버전은 부분공간 차원 선택에 교차 검증이 필요 없으며, 최대우도추정법을 통해 안정적인 성능을 달성한다.
• A→C 및 C→W 과제에서는 자체 레이블링 방법이 SA를 능가하지만, SA는 D→W(84.5%) 및 W→D(86.2%) 과제에서 강력한 성능을 기록한다.
• PLS 및 LDA보다 도메인 적응에서 성능이 뛰어나며, 특히 고차원 데이터에서 공분산 기반 정렬과 내재된 정규화 덕분이다.
• Bag-of-Words 표현에서 더 큰 시각 어휘는 기준 정확도가 낮더라도 부분공간 기반 도메인 적응 성능을 향상시킨다.
• 자기 레이블링, 인스턴스 가중치 또는 사전 학습 기반 사전 학습 기법과 SA를 조합하면 성능 향상이 가능하며, 하이브리드 접근법의 잠재력이 높다는 것을 시사한다.