[논문 리뷰] Robust Data Geometric Structure Aligned Close yet Discriminative Domain Adaptation

Lingkun Luo, Xiaofang Wang외 2명|arXiv (Cornell University)|2017. 05. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 17

한 줄 요약

이 논문은 공유된 은닉 부분공간에서 최대 평균 차이(MMD)를 통한 분포 정렬과 저질서 및 희소 표현을 이용한 기하학적 구조 정렬을 통합하는 새로운 도메인 적응 방법인 RSA-CDDA를 제안한다. 반복 최적화를 통해 도메인 이동을 동시에 최소화하고 클래스 간 분리성을 향상시킴으로써 RSA-CDDA는 16개의 크로스도메인 이미지 분류 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 전체 평균 정확도는 57.02%를 기록했으며 COIL20에서 95.35%의 정확도를 기록하여 모든 데이터셋에서 기존 방법을 초월하였다.

ABSTRACT

Domain adaptation (DA) is transfer learning which aims to leverage labeled data in a related source domain to achieve informed knowledge transfer and help the classification of unlabeled data in a target domain. In this paper, we propose a novel DA method, namely Robust Data Geometric Structure Aligned, Close yet Discriminative Domain Adaptation (RSA-CDDA), which brings closer, in a latent joint subspace, both source and target data distributions, and aligns inherent hidden source and target data geometric structures while performing discriminative DA in repulsing both interclass source and target data. The proposed method performs domain adaptation between source and target in solving a unified model, which incorporates data distribution constraints, in particular via a nonparametric distance, i.e., Maximum Mean Discrepancy (MMD), as well as constraints on inherent hidden data geometric structure segmentation and alignment between source and target, through low rank and sparse representation. RSA-CDDA achieves the search of a joint subspace in solving the proposed unified model through iterative optimization, alternating Rayleigh quotient algorithm and inexact augmented Lagrange multiplier algorithm. Extensive experiments carried out on standard DA benchmarks, i.e., 16 cross-domain image classification tasks, verify the effectiveness of the proposed method, which consistently outperforms the state-of-the-art methods.

연구 동기 및 목표

• 원천 도메인과 타겟 도메인의 데이터 분포가 다를 때 발생하는 도메인 이동 문제를 해결하기 위해.
• 원천 도메인과 타겟 도메인 간의 근원적 분포를 동시에 정렬하여 일반화 능력을 향상시키기 위해.
• 저질서 및 희소 표현을 이용해 원천 및 타겟 데이터의 내재된 숨겨진 기하학적 구조를 명시적으로 모델링하고 정렬하기 위해.
• 공유 부분공간에서 클래스 간 샘플을 밀어내는 방식으로 분류 능력을 향상시키기 위해.
• 분포 정렬, 기하학적 구조 정렬, 그리고 분류 학습을 통합한 통합 최적화 프레임워크를 개발하기 위해.

제안 방법

• 이 방법은 MMD를 활용해 원천 및 타겟의 근원적 분포와 조건부 분포 간의 격차를 최소화하는 통합 최적화 모델을 수립한다.
• 저질서 및 희소 표현을 통해 은닉 기하학적 구조의 정렬을 강제하며, 국소성에 민감한 방식으로 원천 데이터를 사용해 타겟 데이터를 재구성한다.
• 데이터 외곽치에 대한 강건성을 향상시키기 위해 열 기반 희소 재구성 오차 행렬을 도입한다.
• 모델는 교대 최적화를 통해 해결되며, 부분공간 학습에는 Rayleigh 몫 알고리즘을, 저질서 및 희소 제약 조건을 해결하기 위해 비정확한 증가된 라그랑주 승수(IALM) 알고리즘을 사용한다.
• 공통 부분공간은 반복적으로 개선되어 분포를 더 가깝게 만들고 동시에 클래스 간 샘플을 분리한다.
• 이 방법은 분포 정렬, 기하학적 구조 정렬, 그리고 분류 학습을 하나의 최적화 목표에 통합한 통합 프레임워크에서 작동한다.

실험 결과

연구 질문

• RQ1 통합 도메인 적응 프레임워크는 원천 도메인과 타겟 도메인 간의 데이터 분포와 내재된 기하학적 구조를 효과적으로 정렬할 수 있는가?
• RQ2 분포 정렬과 기하학적 구조 정렬을 함께 최적화하면 비지도 도메인 적응에서 일반화 능력이 어떻게 향상되는가?
• RQ3 재구성 오차에 희소성 조건을 적용할 경우 외곽치에 대한 강건성이 얼마나 향상되는가?
• RQ4 제안된 방법은 다양한 크로스도메인 이미지 분류 작업에서 최신 기술 수준의 방법보다 더 높은 성능을 달성하는가?
• RQ5 타겟 데이터에 레이블이 없고 도메인 이동이 심할 경우에도 이 방법은 높은 정확도를 유지할 수 있는가?

주요 결과

• RSA-CDDA는 16개의 크로스도메인 이미지 분류 작업에서 전체 평균 정확도 57.02%를 기록하여 9개의 기준 방법을 모두 앞서며 성능을 뛰어넘었다.
• 16개의 개별 도메인 적응 작업 중 9개에서 정확도 순위 1위를 기록하여 일관된 우수성을 입증하였다.
• COIL20 데이터셋에서 RSA-CDDA는 95.35%의 정확도를 기록하여 이어지는 최고 성능 방법(92.71%)을 크게 앞서며 도메인 이동이 심한 경우의 효과성을 입증하였다.
• MNIST vs USPS 작업에서 RSA-CDDA는 77.50%의 정확도를 기록하여 두 번째로 좋은 방법(76.22%)을 뚜렷이 앞서며 성능 향상을 보였다.
• W→D 작업에서 RSA-CDDA는 94.90%의 정확도를 기록하여 모든 방법 중 최고 성능을 기록하며 대규모 도메인 이동 상황에서도 뛰어난 성능을 보였다.
• 제거 실험 결과, MMD, 저질서, 희소, 그리고 분류 학습 구성 요소의 통합이 필수적임을 확인하였으며, 구성 요소를 제거할 경우 성능 저하가 발생하였다.