[논문 리뷰] Discriminative and Geometry Aware Unsupervised Domain Adaptation

Lingkun Luo, Liming Chen외 3명|arXiv (Cornell University)|2017. 12. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 12

한 줄 요약

이 논문은 공유된 은닉 공간에서 특징의 판별성과 기하학적 구조 인식을 동시에 최적화하는 새로운 비지도 도메인 적응 방법 DGA-DA를 제안한다. 서로 다른 클래스 간의 분리에 기여하는 반발력과 기하학적 구조를 유지하는 제약 조건을 통합함으로써, DGA-DA는 36개의 이미지 분류 벤치마크에서 최신 기술들을 초월하여 기준 모델 대비 최대 8.94%의 정확도 향상을 달성한다.

ABSTRACT

Domain adaptation (DA) aims to generalize a learning model across training and testing data despite the mismatch of their data distributions. In light of a theoretical estimation of upper error bound, we argue in this paper that an effective DA method should 1) search a shared feature subspace where source and target data are not only aligned in terms of distributions as most state of the art DA methods do, but also discriminative in that instances of different classes are well separated; 2) account for the geometric structure of the underlying data manifold when inferring data labels on the target domain. In comparison with a baseline DA method which only cares about data distribution alignment between source and target, we derive three different DA models, namely CDDA, GA-DA, and DGA-DA, to highlight the contribution of Close yet Discriminative DA(CDDA) based on 1), Geometry Aware DA (GA-DA) based on 2), and finally Discriminative and Geometry Aware DA (DGA-DA) implementing jointly 1) and 2). Using both synthetic and real data, we show the effectiveness of the proposed approach which consistently outperforms state of the art DA methods over 36 image classification DA tasks through 6 popular benchmarks. We further carry out in-depth analysis of the proposed DA method in quantifying the contribution of each term of our DA model and provide insights into the proposed DA methods in visualizing both real and synthetic data.

연구 동기 및 목표

• 기존 비지도 도메인 적응(DA) 방법이 분포 정렬에만 집중하며 특징의 판별성과 기하학적 구조를 간과하는 한계를 해결한다.
• 센서의 차이 또는 조명 변화와 같은 원인으로 인해 소스 및 타겟 데이터 간 분포 차이가 발생하는 도메인 이동 상황에서의 일반화 능력을 향상시킨다.
• 동시에 클래스 간 분리성 향상과 기저 데이터 매니폴드의 내재 기하학적 구조 유지 기능을 갖춘 통합 프레임워크를 개발한다.
• 자기 분석 및 시각화를 통해 판별성과 기하학적 인식의 중요성을 이론적·실험적으로 입증한다.

제안 방법

• 공유된 특징 공간에서 서로 다른 클래스의 샘플 간 분리를 강화하기 위해 반발력 항을 도입한 CDDA(Close yet Discriminative DA)를 제안한다.
• 라벨 부드러움 일관성(LSC)과 기하학적 구조 일관성(GSC) 제약 조건을 통해 데이터 매니폴드의 내재 기하학적 구조를 보존하는 GA-DA(Geometry Aware DA)를 도입한다.
• CDDA의 판별적 정규화와 GA-DA의 기하학적 구조 보존 기능을 결합한 통합 모델인 DGA-DA를 개발하며, 두 목표를 동시에 최적화한다.
• 목표 도메인 오차의 상한을 최소화하기 위해 분포 정렬을 위해 최대 평균 차이(MMD)를 사용하고, 판별적 및 기하학적 제약 조건을 함께 통합한 목적 함수를 수립한다.
• 차원 축소를 통해 학습된 공유된 은닉 부분공간을 활용하며, 소스 및 타겟 데이터를 투영하고 분포 정렬, 분리성 향상, 구조 보존을 동시에 최적화한다.
• 지오메트릭 어웨어 스무딩을 적용한 레이블 전파를 통해 타겟 도메인의 레이블을 추론하며, 국소 이웃 일관성을 활용해 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 분포 정렬 외에 특징의 판별성을 향상시키면 도메인 적응 성능에 얼마나 기여하는가?
• RQ2 기저 데이터 매니폴드의 기하학적 구조를 보존하면 비지도 도메인 적응에서 레이블 추론과 일반화에 어떤 영향을 미치는가?
• RQ3 통합된 도메인 적응 프레임워크에서 판별성과 기하학적 구조 인식의 상대적 기여도는 어떠한가?
• RQ4 제안된 방법은 다양한 교차 도메인 이미지 분류 과제에서 최신 기술들을 일관되게 초월할 수 있는가?

주요 결과

• DGA-DA는 MNIST→USPS 벤치마크에서 GA-DA보다 6.94%의 정확도 향상을 기록하여 판별성의 추가 가치를 입증한다.
• CDDA는 동일한 벤치마크에서 JDA보다 8.94% 향상되어 클래스 간 분리가 성능 향상에 크게 기여함을 확인한다.
• GA-DA는 MNIST→USPS에서 JDA보다 8.11% 높은 성능을 기록하여 기하학적 구조 인식이 레이블 전파에 중요한 영향을 미침을 입증한다.
• DGA-DA는 동일한 작업에서 CDDA보다 6.11% 높은 성능을 기록하여 판별성과 기하학적 구조의 동시 최적화가 최고의 결과를 낳음을 보여준다.
• 시각화 결과는 DGA-DA가 원래 데이터 매니폴드의 구조(예: 원형 대비 길쭉한 클러스터)를 성공적으로 유지하면서도 내부 클래스의 밀도는 높이고 클래스 간 분리를 강화함을 확인한다.
• 6개의 인기 있는 벤치마크를 사용한 36개의 이미지 분류 과제에서 DGA-DA는 22개의 최신 기술 기반 베이스라인을 일관되게 능가하여 강건성과 일반화 능력이 뛰어남을 입증한다.