[논문 리뷰] Discrepancy-Based Active Learning for Domain Adaptation

Antoine de Mathelin, François Deheeger외 2명|arXiv (Cornell University)|2021. 03. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 70인용 수 11

한 줄 요약

이 논문은 국소적 불일치 거리(localized discrepancy distance)를 활용하여 원천 레이블링 함수에 가까운 가설에 집중함으로써 일반화를 향상시키는 불일치 기반의 액티브 러닝 방법을 제안한다. 라데마처 평균과 국소적 불일치를 사용하여 일반화 경계를 유도함으로써, 저자들은 스케일러블한 K-median 기반 질의 알고리즘을 설계하였으며, 이는 100,000개의 샘플까지 포함하는 대규모 데이터셋, 즉 이미지 분류 및 회귀 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The goal of the paper is to design active learning strategies which lead to domain adaptation under an assumption of Lipschitz functions. Building on previous work by Mansour et al. (2009) we adapt the concept of discrepancy distance between source and target distributions to restrict the maximization over the hypothesis class to a localized class of functions which are performing accurate labeling on the source domain. We derive generalization error bounds for such active learning strategies in terms of Rademacher average and localized discrepancy for general loss functions which satisfy a regularity condition. A practical K-medoids algorithm that can address the case of large data set is inferred from the theoretical bounds. Our numerical experiments show that the proposed algorithm is competitive against other state-of-the-art active learning techniques in the context of domain adaptation, in particular on large data sets of around one hundred thousand images.

연구 동기 및 목표

• 원천 도메인에서 학습된 모델이 목표 도메인으로 일반화하지 못하는 도메인 이동 문제를 해결한다.
• 액티브 러닝을 통해 목표 레이블의 수를 최소화함으로써 도메인 적응에서 레이블링 비용을 절감한다.
• 도메인 이동 하에서 더 날카운 일반화 경계를 보장하는 이론적으로 탄탄한 액티브 러닝 전략을 개발한다.
• 계산적으로 효율적인 K-median 기반 질의 알고리즘을 설계하여 대규모 데이터셋으로의 확장성을 확보한다.
• 액티브 러닝을 위한 이론적 보장과 실용적 성능 사이의 격차를 메운다.

제안 방법

• 원천 및 목표 분포 간의 국소적 불일치 거리를 정의하여, 원천 데이터에서 잘 작동하는 함수들로 가설 클래스를 제한한다.
• 일반적인 손실 함수가 정규성 조건을 만족할 경우에 대해, 라데마처 복잡도와 국소적 불일치를 사용하여 목표 위험의 일반화 오차 경계를 도출한다.
• 유도된 일반화 경계에 기반한 질의 전략을 제안하여, 레이블된 및 레이블이 없는 분포 간의 불일치를 최소화하는 목표 샘플을 우선순위에 두도록 한다.
• 분포 일치를 보장하면서 레이블된 집합과 레이블이 없는 집합 간의 분포를 일치시키는 K-median 기반 알고리즘을 제안하여, 일괄적인 K개의 질의를 효율적으로 선택한다.
• K-median 클러스터링 접근법을 활용하여 대규모 데이터셋으로의 확장을 도모하며, 비용이 많이 드는 최적화나 적대적 훈련을 피한다.
• 분류 작업으로의 확장을 위해 불일치 기반 질의 메커니즘을 분류 전용 손실 함수와 레이블 공간에 맞게 조정한다.

실험 결과

연구 질문

• RQ1 표준 불일치 측정보다 국소적 불일치 거리가 도메인 이동 하에서 액티브 러닝에 대해 더 날카운 일반화 경계를 제공할 수 있는가?
• RQ2 라데마처 복잡도와 국소적 불일치를 포함한 이론적 일반화 경계는 어떻게 스케일러블하고 실용적인 액티브 러닝 알고리즘으로 전환될 수 있는가?
• RQ3 제안된 K-median 기반 질의 전략은 대규모 도메인 적응 작업에서 기존의 액티브 러닝 방법보다 레이블링 효율성과 모델 성능 면에서 뛰어나게 작동하는가?
• RQ4 특히 목표 분포가 원천과 크게 다를 경우, 다양한 도메인 이동 상황에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 질의 선택 전략은 비대칭 도메인 이동 설정에서 모델의 안정성과 일반화에 어떤 영향을 미치는가?

주요 결과

• 제안된 K-median 기반 액티브 러닝 알고리즘은 100,000장의 이미지까지 포함하는 대규모 데이터셋에서 최신 기술 수준의 방법들과 경쟁 가능한 성능을 달성한다.
• 초전도체 회귀 작업에서, K-median 방법은 저-고 도메인 이동 실험에서 평균 절대 오차(MAE)를 12.70으로 줄였으며, 균형 가중치 하에서 Random(15.33)과 K-means(14.43)를 모두 능가했다.
• 고-저 도메인 이동 상황에서는 K-median가 MAE 9.79를 기록하여 Random(10.54)과 QBC(10.65)를 뚜렷이 앞서며, 도전적인 비대칭 이동 상황에서도 강건함을 입증했다.
• 반복 실험에서 성능의 표준편차가 낮아, 다른 방법들에 비해 더 높은 훈련 안정성을 보였다.
• 목표 분포가 비대칭일 경우, 특히 저도메인의 고온 영역에서 정보량이 많은 샘플을 더 많이 선택하여, 어려운 이동 설정에서도 일반화 성능을 향상시켰다.
• 이론적 분석을 통해 국소적 불일치를 사용함으로써 가설 공간을 관련 함수들로 제한함으로써, 최근의 액티브 러닝 접근법보다 더 날카운 일반화 경계를 제공함을 확인했다.