[논문 리뷰] Domain Adaptation under Open Set Label Shift

Saurabh Garg, Sivaraman Balakrishnan외 1명|arXiv (Cornell University)|2022. 07. 26.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 레이블 분포가 이동하고 새로운 클래스가 등장하는 상황에서, 클래스 조건부 데이터 분포를 유지하면서 분류기의 도메인 적응을 위한 원칙적인 프레임워크인 열린 집합 레이블 이동(Open Set Label Shift, OSLS)을 제안한다. 이 프레임워크는 레이블 이동 추정과 PU 학습을 블랙박스 예측기와 조합한 두 단계 방법인 PULSE를 제안하며, 시각, 자연어 처리, 의료 데이터셋에서 기존의 기준보다 10–25%의 정확도 향상을 이룩했고, 안정적인 수렴 보장을 제공한다.

ABSTRACT

We introduce the problem of domain adaptation under Open Set Label Shift (OSLS) where the label distribution can change arbitrarily and a new class may arrive during deployment, but the class-conditional distributions p(x|y) are domain-invariant. OSLS subsumes domain adaptation under label shift and Positive-Unlabeled (PU) learning. The learner's goals here are two-fold: (a) estimate the target label distribution, including the novel class; and (b) learn a target classifier. First, we establish necessary and sufficient conditions for identifying these quantities. Second, motivated by advances in label shift and PU learning, we propose practical methods for both tasks that leverage black-box predictors. Unlike typical Open Set Domain Adaptation (OSDA) problems, which tend to be ill-posed and amenable only to heuristics, OSLS offers a well-posed problem amenable to more principled machinery. Experiments across numerous semi-synthetic benchmarks on vision, language, and medical datasets demonstrate that our methods consistently outperform OSDA baselines, achieving 10--25% improvements in target domain accuracy. Finally, we analyze the proposed methods, establishing finite-sample convergence to the true label marginal and convergence to optimal classifier for linear models in a Gaussian setup. Code is available at https://github.com/acmi-lab/Open-Set-Label-Shift.

연구 동기 및 목표

• 레이블 분포가 이동하고 새로운 클래스가 등장할 수 있는 상황에서, 도메인 불변의 클래스 조건부 분포를 유지하는 도메인 적응 문제를 다루는 것.
• 목표 레이블 분포, 특히 새로운 클래스의 빈도를 추정하고, 정확한 목표 분류기를 훈련하는 것.
• 목표 레이블 분포와 분류기가 일관되게 추정될 수 있는 조건을 공식적으로 규명하는 것.
• 임의의 모델(딥 네트워크 포함)과 호환되며 히우리스틱 설계를 피하는 실용적이고 확장 가능한 방법을 개발하는 것.
• 다양한 데이터 모odal리티에서 기존의 열린 집합 도메인 적응 기준보다 일관된 성능 향상을 보여주는 것.

제안 방법

• 레이블 이동과 PU 학습을 포함하는 공식적인 문제 설정인 OSLS를 제안하며, 클래스 조건부 밀도는 그대로 유지되지만 레이블 주변확률은 이동하고 새로운 클래스가 등장할 수 있음을 가정한다.
• 식별 가능성 조건으로 약한 양성, 강한 양성, 분리성 조건을 도입하며, 강한 양성 조건을 중심으로 OSLS를 k개의 PU 학습 문제로 환원한다.
• PULSE를 개발하며, 첫 번째 단계에서는 블랙박스 예측기를 사용해 알려진 클래스 간의 레이블 이동을 추정하고, 두 번째 단계에서는 소스 데이터를 재가중하여 새로운 클래스 추정과 분류기 훈련을 위한 단일 PU 학습 문제를 구성한다.
• 이전의 PU 학습 기법에서 유래한 BBE 및 CVIR 기법을 활용하여 혼합 비율을 추정하고, 다중 PU 문제 간의 편향 누적에 대한 강건성을 향상시킨다.
• 재가중된 소스 데이터와 타겟의 레이블이 없는 데이터를 사용해 (k+1)-클래스 분류기를 PU 학습을 통해 훈련함으로써, 최소한의 아키텍처 변경으로 종단 간 적응을 가능하게 한다.
• 블랙박스 예측기를 활용해 차원의 극복 문제를 피하고, 딥 네트워크를 포함한 임의의 가설 클래스를 지원한다.

실험 결과

연구 질문

• RQ1 OSLS 하에서 소스 레이블이 있는 데이터와 타겟 레이블이 없는 데이터로부터, 새로운 클래스의 빈도를 포함한 목표 레이블 분포가 유일하게 식별될 수 있는 조건은 무엇인가?
• RQ2 레이블 이동 추정과 PU 학습을 어떻게 통합하여, 새로운 클래스가 존재하는 상황에서 목표 레이블 주변확률과 목표 분류기를 정확히 추정할 수 있는가?
• RQ3 신규 클래스 빈도와 분류 정확도를 모두 평가할 때, 히우리스틱 기반의 OSDA 기준보다 원칙적인 방법이 성능을 뛰어넘을 수 있는가?
• RQ4 레이블 주변확률 추정과 분류기 학습에 대해 제안된 방법의 유한 표본 수렴 성질은 어떠한가?
• RQ5 반사적 분포 이동 하에서, 다양한 데이터 모달리티(시각, 자연어 처리, 의료 영상 포함)에서 이 방법의 확장성은 어떠한가?

주요 결과

• PULSE는 시각, 언어, 의료 데이터를 포함한 7개의 반사적 벤치마크에서 최신 기준인 OSDA 기준보다 평균 10–25% 높은 타겟 도메인 정확도를 확보했다.
• PULSE는 신규 클래스 추정에 있어 평균 빈도 오차(MPE)를 크게 감소시켰으며, Entity30에서는 MPE 0.008, DermNet에서는 MPE 0.043를 기록해 k-PU 및 기타 기준보다 뛰어난 성능을 보였다.
• UTK Face 연령 예측 작업에서 PULSE는 MPE = 0.01로 신규 클래스 빈도를 추정했고, k-PU는 0.11을 기록하여 더 뛰어난 추정 안정성을 입증했다.
• 목표 정확도 및 신규 클래스 빈도 추정 곡선을 통해, 학습 에포크 전반에 걸쳐 안정적이고 뛰어난 성능 유지를 유지했다.
• 가우스 분포 설정 하에서 선형 모델에 대해 유한 표본 수렴을 입증했으며, 진짜 레이블 주변확률과 최적의 분류기에 수렴하는 것으로 나타났다.
• 특수화된 기준인 Domain Discriminator와 BODA조차도 PULSE가 신규 클래스 탐지 및 미리 보지 않은 데이터에 대한 일반화 능력에서 뛰어난 성능을 보였다.