[논문 리뷰] A Generalized Neyman-Pearson Criterion for Optimal Domain Adaptation

Clayton Scott|arXiv (Cornell University)|2018. 10. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 4

한 줄 요약

이 논문은 이진 분류에서 최적의 도메인 적응을 위한 일반화된 네이만-피어슨 기준—특히 제어된 발견률(CDR)—을 도입한다. 공변수 이질성과 사후 확률 이동이 존재하는 조건에서, 즉 소스 및 타겟 분포가 특징과 레이블 분포에서 다를 때, 단지 소스 데이터로만 훈련된 분류기는 여전히 CDR 기준을 최적화할 수 있으며, 이는 레이블이 없는 타겟 데이터나 소스-타겟 분포 간의 강력한 유사성 가정 없이도 강력한 도메인 적응을 가능하게 한다.

ABSTRACT

In the problem of domain adaptation for binary classification, the learner is presented with labeled examples from a source domain, and must correctly classify unlabeled examples from a target domain, which may differ from the source. Previous work on this problem has assumed that the performance measure of interest is the expected value of some loss function. We introduce a new Neyman-Pearson-like criterion and argue that, for this optimality criterion, stronger domain adaptation results are possible than what has previously been established. In particular, we study a class of domain adaptation problems that generalizes both the covariate shift assumption and a model for feature-dependent label noise, and establish optimal classification on the target domain despite not having access to labelled data from this domain.

연구 동기 및 목표

• 기존 도메인 적응 방법이 기대 손실 기반 성능 측정법에 의존하는 데서 비롯하는 한계를 해결하기 위해, 이는 종종 소스-타겟 유사성에 대한 강력한 가정을 필요로 한다.
• 더 넓은 분포 이질성 하에서도 더 강력한 도메인 적응 보장을 가능하게 하는 새로운 최적성 기준—제어된 발견률(CDR)—을 개발하기 위해.
• 레이블이 없는 타겟 데이터가 존재하는 상황에서도, 공변수 이질성과 특징 기반 레이블 노이즈(사후 확률 이동)의 병합 모델 하에서 최적의 분류가 가능하다는 것을 입증하기 위해.
• CDR 기준이 분포 이질성에 대해 면역임을 입증함으로써, 소스 전용 훈련이 최적의 타겟 성능을 도출할 수 있음을 보여주기 위해.

제안 방법

• θ₁=1 및 θ₀=π_Q로 설정된 일반화된 네이만-피어슨(GNP) 기준을 제안하여, 이는 CDR 기준을 특수한 경우로 포함한다.
• 제약 조건으로서 타겟 분포에서의 발견률 D_Q(g) = Q_X(g(X)=1)를 정의하며, 이는 타겟 분포에서의 양성 예측 비율을 나타낸다.
• CDR 기준 하에서 최적의 분류기는 유사도 비율 검정(LRT)이며, 이는 사후 확률 η_Q(x) 기반의 임계값 설정에 기반한다.
• CDR 하에서 최적의 분류기가 사후 확률 이동과 공변수 이질성에 대해 불변임을 입증하여, 이러한 분포 이질성에 대한 면역성을 확보한다.
• 반감도 학습 설정에서 CDR 최적화를 위한 두 가지 알고리즘을 제안하며, 커널 로지스틱 회귀 기반의 레벨 세트 방법을 포함한다.
• CDR 기준이 공변수 이질성과 사후 확률 이동의 병합 클래스에 대해 면역임을 증명함으로써, 소스 전용 훈련이 최적의 타겟 성능을 도출하는 데 충분함을 보여준다.

실험 결과

연구 질문

• RQ1 기대 손실 이외의 성능 기준이 현실적인 분포 이질성 하에서 더 강력한 도메인 적응 보장을 가능하게 할 수 있는가?
• RQ2 레이블이 없는 타겟 데이터가 존재하는 상황에서도, 공변수 이질성과 사후 확률 이동의 병합 모델 하에서 최적의 도메인 적응을 달성할 수 있는가?
• RQ3 제어된 발견률(CDR) 기준이 분포 이질성에 대해 불변성을 유지하는가? 이는 소스 전용 훈련이 최적의 타겟 성능을 도출할 수 있음을 의미한다.
• RQ4 특징 기반 레이블 노이즈(FDLN)에 대한 강건성 측면에서 CDR 기준은 전통적인 0-1 손실 최소화 방식보다 어떻게 비교되는가?
• RQ5 반감도 학습 도메인 적응에서 CDR 기준을 최적화하기 위한 이론적 및 알고리즘적 기초는 무엇인가?

주요 결과

• CDR 기준은 공변수 이질성과 사후 확률 이동 양자 모두에 대해 면역이며, 이는 소스 전용 훈련을 통해 타겟 도메인에서 최적의 분류가 가능함을 의미한다.
• CDR 하에서 최적의 분류기는 사후 확률 η_Q(x)를 임계값으로 설정하는 유사도 비율 검정이며, 이는 일반화된 네이만-피어슨 프레임워크 하에서의 최적성을 보장한다.
• 이 논문은 소스-타겟 분포 간 강력한 유사성 가정 없이도, 공변수 이질성과 사후 확률 이동의 병합 모델 하에서 도메인 적응의 최적성 결과를 처음으로 확립한다.
• CDR 기준은 이전 문헌에서 요구된 과도하게 제한적인 가정 없이도, 특징 기반 레이블 노이즈(FDLN) 하에서도 최적의 성능을 달성할 수 있도록 한다.
• CDR 최적화를 위한 두 가지 알고리즘을 제안하며, 커널 로지스틱 회귀 기반의 레벨 세트 방법에 대한 새로운 분석을 통해 실용적 타당성을 입증한다.
• 이전의 공변수 이질성 및 FDLN 연구를 일반화하여, 통합적이고 더 현실적인 분포 모델 하에서 더 넓은 이론적 보장을 제공한다.