[논문 리뷰] Discriminative Label Consistent Domain Adaptation

Lingkun Luo, Liming Chen외 2명|arXiv (Cornell University)|2018. 02. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 10

한 줄 요약

이 논문은 이론적 오차 경계의 세 가지 항을 동시에 최적화하는 새로운 비지도 도메인 적응 방법인 Discriminative Label Consistent Domain Adaptation (DLC-DA)를 제안한다: 소스 도메인 오차, 도메인 간 차이, 레이블 함수의 이질성. 특성 분포를 동시에 정렬하고, 반발력을 통해 클래스 간 분리도를 높이며, 희소 선형 회귀를 통해 레이블 일관성을 강제함으로써, DLC-DA는 12개의 크로스도메인 이미지 분류 벤치마크에서 최신 기술을 초월하는 성능을 달성하며, 정확도에서 이전 방법보다 최대 12점 향상된다.

ABSTRACT

Domain adaptation (DA) is transfer learning which aims to learn an effective predictor on target data from source data despite data distribution mismatch between source and target. We present in this paper a novel unsupervised DA method for cross-domain visual recognition which simultaneously optimizes the three terms of a theoretically established error bound. Specifically, the proposed DA method iteratively searches a latent shared feature subspace where not only the divergence of data distributions between the source domain and the target domain is decreased as most state-of-the-art DA methods do, but also the inter-class distances are increased to facilitate discriminative learning. Moreover, the proposed DA method sparsely regresses class labels from the features achieved in the shared subspace while minimizing the prediction errors on the source data and ensuring label consistency between source and target. Data outliers are also accounted for to further avoid negative knowledge transfer. Comprehensive experiments and in-depth analysis verify the effectiveness of the proposed DA method which consistently outperforms the state-of-the-art DA methods on standard DA benchmarks, i.e., 12 cross-domain image classification tasks.

연구 동기 및 목표

• 소스 및 타겟 데이터가 서로 다른 분포를 따르는 비지도 도메인 적응에서 발생하는 도메인 시프트 문제를 해결하기 위해.
• 이론적 오차 경계의 세 구성요소인 소스 오차, 도메인 간 차이, 레이블 이질성을 동시에 최소화하여 타겟 도메인에서의 일반화 성능을 향상시키기 위해.
• 공유된 특성 공간에서 클래스 간 거리를 명시적으로 증가시켜 분류의 판별 능력을 향상시키기 위해.
• 반복적인 레이블 회귀를 통해 소스 및 타겟 도메인 간 레이블 일관성을 확보하여 악성 지식 전이를 줄이기 위해.
• 외곽치를 고려하여 강인성을 향상시키고 성능 저하를 방지하기 위해.

제안 방법

• 낮은 질량과 희소 표현 프레임워크를 사용하여 도메인 간 차이를 최소화하는 판별적 데이터 분포 정렬(DDA) 항을 통해 잠재적인 공유 특성 부분공간을 학습한다.
• 공유 부분공간에서 클래스 간 거리를 증가시키기 위해 반발력 항을 도입하여 판별적 학습을 향상시킨다.
• 소스 레이블을 공유 공간의 특성에 대해 희소 선형 레이블 회귀(LCR) 항을 통해 회귀시켜 레이블 일관성을 강제한다.
• 부분공간 학습과 레이블 회귀를 번갈아가며 반복적으로 최적화하며, 직교성과 안정성을 유지하기 위한 제약 조건을 적용한다.
• 모든 항목을 통합된 프레임워크 내에서 DDA와 LCR 항을 통합하고, 과적합과 외곽치를 제어하기 위한 정규화 항을 포함한다.
• 직교성 제약 조건을 갖춘 추적 기반 최적화를 사용하여 부분공간이 판별적 구조를 유지하도록 보장한다.

실험 결과

연구 질문

• RQ1 통합된 도메인 적응 프레임워크가 이론적 오차 경계의 세 구성요소를 동시에 최적화하여 타겟 도메인 일반화 성능을 향상시킬 수 있는가?
• RQ2 공유된 특성 공간에서 클래스 간 거리를 명시적으로 증가시키는 것이 도메인 시프트 상황에서 분류 성능에 어떤 영향을 미치는가?
• RQ3 소스 및 타겟 도메인 간 레이블 일관성을 강제함으로써 악성 지식 전이가 어느 정도 감소하는가?
• RQ4 특히 클래스 간 및 도메인 간 차이가 클 경우, 외곽치 및 분포 불일치에 대해 제안된 방법이 얼마나 강인한가?
• RQ5 DDA와 LCR 항을 함께 최적화하는 것이 별도로 최적화하는 것보다 상호 보완적인 이점을 제공하는가?

주요 결과

• 제안된 DLC-DA 방법은 Office+CaltechA 데이터셋에서의 12개 표준 크로스도메인 이미지 분류 벤치마크에서 최신 기술을 일관되게 초월한다.
• 평균적으로 DLC-DA는 다음으로 좋은 방법인 DLC-DA(DDA)보다 3점의 정확도 향상을 기록했으며, DLC-DA(LCR)보다는 12점 향상되어 DDA와 LCR 구성요소의 상호보완성이 입증되었다.
• 교대로 최적화 과정을 2회 수행한 후에 이미 최적의 성능을 달성하여 빠른 수렴을 보였다.
• 하이퍼파rameter 선택에 대해 매우 강인하여 부분공간 차원 수 k ∈ [20, 200] 범위에서 안정적인 성능 유지를 보였다.
• 합성 데이터에 대한 시각화 결과, DLC-DA는 큰 분포 차이가 있는 데이터 분포를 효과적으로 정렬하고, TCA, JDA, TJM 등의 베이스라인 방법보다 클래스 간 분리도가 뚜렷하게 향상됨을 확인했다.
• 제거 분석 결과, DDA와 LCR 항의 통합 최적화가 필수적임을 입증하였으며, 각각의 구성요소만으로는 성능이 상당히 떨어졌다.