[논문 리뷰] A Unified View of Label Shift Estimation

Saurabh Garg, Yifan Wu외 2명|arXiv (Cornell University)|2020. 03. 17.

Machine Learning and Data Classification참고 문헌 27인용 수 10

한 줄 요약

이 논문은 BBSE(Black Box Shift Estimation)와 MLLS(Maximum Likelihood Label Shift)라는 두 가지 주요 레이블 시프트 추정 방법을 통합하여, 이들이 주로 校정의 해상도 차이에서 다름을 보여주며, 목적 함수의 차이가 아니라는 점을 밝힌다. MLLS의 이론적 일致성 조건을 수립하고, 실험적으로 MLLS가 우월한 성능을 보이는 이유가 최적화 목적 함수 때문이 아니라 더 세밀한 校정 덕분임을 입증하며, 실험에서 최대 10배 낮은 MSE를 기록한다.

ABSTRACT

Under label shift, the label distribution p(y) might change but the class-conditional distributions p(x|y) do not. There are two dominant approaches for estimating the label marginal. BBSE, a moment-matching approach based on confusion matrices, is provably consistent and provides interpretable error bounds. However, a maximum likelihood estimation approach, which we call MLLS, dominates empirically. In this paper, we present a unified view of the two methods and the first theoretical characterization of MLLS. Our contributions include (i) consistency conditions for MLLS, which include calibration of the classifier and a confusion matrix invertibility condition that BBSE also requires; (ii) a unified framework, casting BBSE as roughly equivalent to MLLS for a particular choice of calibration method; and (iii) a decomposition of MLLS's finite-sample error into terms reflecting miscalibration and estimation error. Our analysis attributes BBSE's statistical inefficiency to a loss of information due to coarse calibration. Experiments on synthetic data, MNIST, and CIFAR10 support our findings.

연구 동기 및 목표

• 실험적으로 우월한 성능를 보이지만 공식적인 일致성 분석이 부족한 최대우도 레이블 시프트(MLLS) 추정기의 이론적 특성화를 목적으로 한다.
• BBSE와 MLLS를 공통의 프레임워크 아래 통합하여, 이들이 오직 校정 방법과 목적 함수의 차이만 있을 뿐임을 드러낸다.
• MLLS의 유한표본 오차를 잘못된 校정 오차와 추정 오차 성분으로 분해하여 통계적 비효율성의 근본 원인을 규명한다.
• BBSE에 비해 더 강한 이론적 보장을 지닌다 하더라도 MLLS가 BCTS(Bias-Corrected Temperature Scaling)를 사용할 때 왜 BBSE를 능가하는지 설명한다.
• 레이블 시프트 추정 향상을 위한 校정의 해상도 선택에 실용적 지침을 제공한다.

제안 방법

• BBSE와 MLLS를 모두 校정 기반 추정기로 간주하는 통합 프레임워크를 제안하며, BBSE는 혼동 행렬 기반 校정에 해당한다.
• MLLS의 일치성에 충분한 조건을 수립: 분류기의 표준 校정과 혼동 행렬의 가역성.
• 혼동 행렬 기반 校정을 사용할 경우 MLLS가 BBSE와 동일한데, BCTS와 같은 더 세밀한 校정을 사용할 경우 다름을 보인다.
• MLLS의 유한표본 오차 분해를 유도하여, 검증 세트 재교정과 최소 달성 가능한 오차에서 기인하는 잘못된 校정 오차와 추정 오차로 분리한다.
• 합성 및 실세계 데이터셋(MNIST, CIFAR-10)을 사용해 이론적 주장의 타당성을 검증하며, 校정의 해상도와 시프트 강도를 다양하게 조절한다.
• 후행적 校정을 위해 BCTS를 적용하고, MLLS와 BCTS를 사용한 결과를 BBSE, RLLS, 혼동 행렬 기반 校정을 사용한 MLLS-CM와 비교한다.

실험 결과

연구 질문

• RQ1 MLLS 추정기는 어떤 조건에서 레이블 시프트 추정에 대해 일치하는가?
• RQ2 BBSE에 비해 더 강한 이론적 보장을 지닌다 하더라도 MLLS가 BCTS를 사용할 때 왜 실험적으로 더 우월한 성능를 보이는가?
• RQ3 교정 방법의 선택이 레이블 시프트 추정기의 성능에 어떤 영향을 미치는가?
• RQ4 MLLS와 BBSE는 단일 이론적 프레임워크 아래 통합될 수 있는가?
• RQ5 MLLS의 유한표본 오차 구조는 무엇이며, 그 구조는 校정의 해상도에 어떻게 의존하는가?

주요 결과

• 분류기가 표준적으로 校정되어 있고 혼동 행렬이 가역적인 경우 MLLS는 일치한다. 이 조건은 BBSE에도 동일하게 요구된다.
• BBSE의 통계적 비효율성은 혼동 행렬을 통한 굵은 해상도의 校정 덕분이며, 이는 더 세밀한 校정에 비해 정보를 손실하기 때문이다.
• 심한 시프트 상황에서 MLLS가 BCTS를 사용할 경우, BBSE나 RLLS에 비해 최대 10배 낮은 평균제곱오차(MSE)를 기록하며, 표본 크기가 증가할수록 그 성능 격차가 더 커진다.
• 혼동 행렬 기반 校정을 사용하는 MLLS-CM는 모든 설정에서 BBSE와 거의 동일한 성능를 보이며, 성능 격차가 校정의 해상도의 차이에서 비롯되며 목적 함수의 차이가 아니라는 점을 확인한다.
• 합성 데이터에서 校정 박스의 수를 늘일수록 MSE가 감소하고 헤시안의 최소 고유값이 증가하여 이론적 오차 분해를 검증한다.
• MLLS-CM의 헤시안 최소 고유값은 0.195로, 4개 이상의 박자를 가진 분할 예측기보다 유의미하게 낮아, 그 성능 열 劣의 이유를 설명한다.