[논문 리뷰] Unsupervised Domain Adaptation Using Approximate Label Matching

Jordan T. Ash, Robert E. Schapire외 1명|arXiv (Cornell University)|2016. 02. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 5

한 줄 요약

이 논문은 근사 레이블 매칭(ALM)을 제안하며, 이는 타겟 데이터에 대해 노이즈가 섞인 가짜 레이블을 생성하고 이를 통해 도메인 불변 특징 변환을 학습하는 새로운 비지도 도메인 적응 방법이다. ALM는 지도 레이블이 없더라도 타겟 레이블의 구조를 활용함으로써 합성 및 실제 데이터에서 최신 기술들을 능가한다.

ABSTRACT

Domain adaptation addresses the problem created when training data is generated by a so-called source distribution, but test data is generated by a significantly different target distribution. In this work, we present approximate label matching (ALM), a new unsupervised domain adaptation technique that creates and leverages a rough labeling on the test samples, then uses these noisy labels to learn a transformation that aligns the source and target samples. We show that the transformation estimated by ALM has favorable properties compared to transformations estimated by other methods, which do not use any kind of target labeling. Our model is regularized by requiring that a classifier trained to discriminate source from transformed target samples cannot distinguish between the two. We experiment with ALM on simulated and real data, and show that it outperforms techniques commonly used in the field.

연구 동기 및 목표

• 학습 데이터와 테스트 데이터의 분포가 다를 때 발생하는 도메인 시프트 문제를 해결하기 위해.
• 지상 진실 레이블이 필요 없이 타겟 도메인의 암묵적 레이블 구조를 통합하여 비지도 도메인 적응을 향상시키기 위해.
• 가짜 레이블이 부여된 타겟 데이터를 사용하여 소스 및 타겟 도메인을 정렬하는 강력한 특징 변환을 학습하기 위해.
• 노이즈가 섞인 근사 타겟 레이블이 도메인 적응 성능을 크게 향상시킬 수 있는지 확인하기 위해.
• 타겟 레이블이 없을 경우 과적합을 방지하기 위한 정규화 기법을 제공하기 위해.

제안 방법

• ALM는 소스 데이터에서 학습된 분류기를 사용하여 타겟 데이터에 대해 근사적인 레이블링을 수행하여 타겟에 대한 가짜 레이블 분포를 생성한다.
• 이 방법은 소스 데이터와 변환된 타겟 데이터 간의 차이를 최소화하면서도 근사 레이블 구조를 유지하는 특징 변환을 학습한다.
• 도메인 불변성을 강제하기 위해 소스 및 변환된 타겟 샘플을 구분하는 디스criminator를 훈련하여 정규화한다.
• 대비 손실을 사용하여 신경망을 최적화함으로써 소스와 가짜 레이블이 부여된 타겟 특징 간의 정렬을 장려한다.
• 일부 설정에서는 반복적으로 적용되며, 한 반복의 출력을 다음 반복의 입력으로 사용하여 가짜 레이블을 정교화한다.
• ALM는 기존의 도메인 적응 기법과 조합이 가능하며, 개선된 정렬을 통해 성능을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 지상 진실 레이블이 없을 경우 근사 타겟 레이블이 도메인 적응 성능을 크게 향상시킬 수 있는가?
• RQ2 타겟 레이블 구조를 통합할 경우 도메인 정렬 변환의 품질에 어떤 영향을 미치는가?
• RQ3 ALM는 합성 및 실제 데이터 세트에서 기존의 비지도 도메인 적응 방법들을 능가하는가?
• RQ4 ALM는 다른 도메인 적응 기법과 효과적으로 조합되어 성능을 추가로 향상시킬 수 있는가?
• RQ5 정규화가 타겟 레이블이 없을 경우 과적합을 방지하는 데 어떤 영향을 미치는가?

주요 결과

• 합성 도메인 적응 작업에서 ALM는 모든 베이스라인 방법보다 뛰어나며, 타겟이 S04일 경우 90.6%의 정확도를 기록했고, DANN는 79.9%, SA는 75.9%였다.
• MEG 뇌영상 데이터셋에서 ALM는 평균 정확도 81.3%를 달성하여 DANN(73.3%), SA(71.6%), 스태킹 일반화(66.1%)를 모두 앞섰다.
• 타겟 도메인이 크게 이동하거나 기울여진 경우(예: 회전 및 이동), ALM는 의미 있는 정렬을 성공적으로 학습했고, 다른 방법들은 실패했다.
• ALM는 초기 가짜 레이블링의 품질 이하로 성능이 떨어지지 않아 안정적이고 신뢰할 수 있는 향상 효과를 보였다.
• MEG 실험에서 16명의 모든 피험자에 대해 일관된 성과 향상을 보였으며, 다음으로 좋은 방법보다 2.5에서 10.5%p의 향상이 있었다.
• ALM는 타겟 도메인이 소스 도메인과 기하학적으로 겹치지 않을 경우에도 강건하고 일반화 능력이 뛰어나 강력한 성능을 유지했다.