[논문 리뷰] Detecting and Correcting for Label Shift with Black Box Predictors

Zachary C. Lipton, Yu-Xiang Wang외 1명|arXiv (Cornell University)|2018. 02. 12.

Image Retrieval and Classification Techniques참고 문헌 18인용 수 110

한 줄 요약

BBSE는 블랙박스 예측기를 사용하여 레이블 시프트 하에서 테스트-레이블 분포를 추정하고, 일관성 보장을 제공하여 시프트 탐지와 라벨이 있는 테스트 데이터 없이도 분류기 보정을 가능하게 한다.

ABSTRACT

Faced with distribution shift between training and test set, we wish to detect and quantify the shift, and to correct our classifiers without test set labels. Motivated by medical diagnosis, where diseases (targets) cause symptoms (observations), we focus on label shift, where the label marginal $p(y)$ changes but the conditional $p(x| y)$ does not. We propose Black Box Shift Estimation (BBSE) to estimate the test distribution $p(y)$. BBSE exploits arbitrary black box predictors to reduce dimensionality prior to shift correction. While better predictors give tighter estimates, BBSE works even when predictors are biased, inaccurate, or uncalibrated, so long as their confusion matrices are invertible. We prove BBSE's consistency, bound its error, and introduce a statistical test that uses BBSE to detect shift. We also leverage BBSE to correct classifiers. Experiments demonstrate accurate estimates and improved prediction, even on high-dimensional datasets of natural images.

연구 동기 및 목표

• 훈련 데이터와 테스트 간의 분포 시프트 문제를 고취시키고, p(x|y)는 고정된 채 p(y)가 변하는 레이블 시프트에 초점을 맞춘다.
• 고정된 예측기 f와 라벨이 없는 테스트 데이터만을 사용하여 테스트-레이블 분포 q(y)를 추정하는 방법을 개발한다.
• 레이블 시프트 추정치에 대한 일관성 및 오차 상한 등 이론적 보장을 제공한다.
• 시프트 탐지를 위한 통계적 검정 및 중요도 가중 ERM(Importance-weighted ERM)을 통한 분류기 보정에의 응용을 제시한다.

제안 방법

• 예측기 f를 사용하고 가역적인 기대 혼동 행렬을 가진 BBSE를 도입하여 w(y)=q(y)/p(y)를 추정한다.
• A = C_{ŷ,y} (혼동 행렬)이고 b = μ̂_{ŷ} (테스트 데이터에서의 예측기의 평균 출력)인 선형 시스템 A w = b를 형식화한다.
• 추정치 ŷ w = Ŵ^{-1} μ̂_{ŷ} 및 μ̂_y = diag(ν̂_y) w를 도출하고, ν̂_y는 학습 데이터에서 얻는다.
• 일관성을 증명: n,m → ∞일 때 ŵ → w 및 μ̂_y → μ_y는 가정 A.1–A.3 아래에서 성립한다.
• 오차 한계 제시: ||ŵ−w||_2^2 ≤ (C/σ_min^2)(||w||^2 log n / n + k log m / m).
• BBSD(Black Box Shift Detection)를 p(ŷ) 대 q(ŷ)의 1차원 이표본검정으로 제시하여 시프트 탐지에 사용하고, Type I 오류 제어 및 검정력 보장을 입증한다.
• 추정 가중치 ŵ를 사용한 중요도 가중 ERM을 통한 BBSC(Black Box Shift Correction)를 설명하고, 축퇴 경우 및 음의 가중치 처리 등을 포함한다.

실험 결과

연구 질문

• RQ1 고정되었거나 편향될 수 있는 블랙박스 예측기가 라벨 시프트 가중치 w(y)를 비라벨링된 테스트 데이터에서 일관되게 추정하게 할 수 있는가?
• RQ2 BBSE가 ŷ 예측과 학습 혼동 정보를 이용해 레이블 시프트를 정확하게 탐지할 수 있는가?
• RQ3 추정된 시프트를 중요도 가중 ERM(BBSC)을 통해 다운스트림 분류기의 성능 향상에 활용할 수 있는가?
• RQ4 BBSE/BBSD/BBSC가 KMM과 같은 커널 기반 방법과 비교하여 고차원 데이터에서 어떻게 성능을 보이는가?

주요 결과

• 가역 혼동 행렬과 공유된 x|y 분포를 가정할 때, BBSE는 레이블 시프트 하에서 w(y)와 q(y)의 일관된 추정치를 제공한다.
• 이론적 오차 한계는 추정 정확도가 더 큰 n,m에서 향상되고 혼동 행렬의 최소 특이값 σ_min에 의존함을 보인다.
• BBSD는 MNIST에서 다양한 시프트 강도에 걸쳐 커널 이표본 검정보다 Type I 오류를 제어하고 검정력 높게 제공한다.
• BBSE는 정확도 면에서 KMM보다 우수하고 MNIST/CIFAR 같은 고차원 데이터에 더 잘 확장되어 실제 시프트 보정을 가능하게 한다.
• 추정 가중치를 사용한 BBSC는 벤치마크 데이터셋에서 레이블 시프트 하의 분류기 성능을 향상시키며, 축퇴된 혼동 행렬에 대해 소프트 또는 합쳐진 클래스 적응을 통해 강건성을 보인다.