[논문 리뷰] Distribution-free uncertainty quantification for classification under label shift

Aleksandr Podkopaev, Aaditya Ramdas|arXiv (Cornell University)|2021. 03. 04.

Machine Learning and Data Classification참고 문헌 28인용 수 7

한 줄 요약

이 논문은 레이블 분포의 변화가 있는 분류 문제에 대해 중요도 가중치를 추정하여 재가중한 콫모럴 예측과 사후 校정을 이용한 분포에 종속되지 않는 불확실성 정량화(UQ) 방법을 제안한다. 이는 이론적 보장을 확보하고, 레이블 비율이 훈련 데이터와 다를 경우에도 타겟 분포에서 유효한 커버리지와 校정을 복원함을 경험적으로 입증한다.

ABSTRACT

Trustworthy deployment of ML models requires a proper measure of uncertainty, especially in safety-critical applications. We focus on uncertainty quantification (UQ) for classification problems via two avenues -- prediction sets using conformal prediction and calibration of probabilistic predictors by post-hoc binning -- since these possess distribution-free guarantees for i.i.d. data. Two common ways of generalizing beyond the i.i.d. setting include handling covariate and label shift. Within the context of distribution-free UQ, the former has already received attention, but not the latter. It is known that label shift hurts prediction, and we first argue that it also hurts UQ, by showing degradation in coverage and calibration. Piggybacking on recent progress in addressing label shift (for better prediction), we examine the right way to achieve UQ by reweighting the aforementioned conformal and calibration procedures whenever some unlabeled data from the target distribution is available. We examine these techniques theoretically in a distribution-free framework and demonstrate their excellent practical performance.

연구 동기 및 목표

• 레이블 비율의 불일치로 인해 표준적인 분포에 종속되지 않는 방법이 실패하는 레이블 분포의 변화 하에서 불확실성 정량화(UQ)의 열화 문제를 해결하기 위해.
• 독립 identically distributed(i.i.d.) 보장을 지닌 콕모럴 예측과 확률적 校정 방법을, 레이블 분포의 변화가 있는 환경에 적용하기 위해 비순차적 타겟 데이터를 활용하여 확장하기 위해.
• 학습 데이터와 테스트 데이터의 레이블 주변확률이 다를 경우에도 유효한 이론적 기반을 지닌 분포에 종속되지 않는 UQ 절차를 제공하기 위해.
• 재가중 기반 중요도 가중치 추정이 콕모럴 예측과 校정 절차 양쪽 모두에서 커버리지와 校정을 복원함을 입증하기 위해.

제안 방법

• 타겟 분포의 레이블 분포 변화를 고려하기 위해 추정된 중요도 가중치를 사용해 콕모럴 예측 절차를 재가중하는 방법.
• 추정된 중요도 가중치에 따라 校정 데이터를 재가중하여 사후 분할 校정을 수정함으로써 타겟 도메인에서의 校정을 달성하는 방법.
• 최대우도나 모멘트 기반 추정과 같은 방법을 통해 타겟의 미사용된 데이터 세트를 활용해 레이블 분포 변화에 대한 중요도 가중치를 추정하는 방법.
• 레이블 분포 변화 하에서도 여전히 균일한 커버리지 유지가 가능한 가중치를 적용한 교환 가능성(Weighted exchangeability)을 콕모럴 예측에 적용하는 방법.
• 이론적 분석을 통해 재가중된 예측 집합과 校정 확률이 레이블 분포 변화 하에서도 유효한 커버리지와 校정을 유지함을 보여주는 방법.
• 실제 데이터(예: 포도주 품질 데이터셋)를 대상으로 시뮬레이션된 레이블 분포 변화를 활용해 실용적 효과를 경험적으로 검증하는 방법.

실험 결과

연구 질문

• RQ1 콕모럴 예측과 校정과 같은 분포에 종속되지 않는 불확실성 정량화 방법이 레이블 분포 변화 하에서도 유효한 커버리지와 校정을 유지할 수 있는가?
• RQ2 강한 분포 가정 없이 콕모럴 예측과 校정을 레이블 분포 변화에 대응하도록 어떻게 수정할 수 있는가?
• RQ3 레이블 분포 변화가 표준 UQ 방법 성능에 미치는 이론적 영향은 무엇이며, 중요도 가중치를 통해 이를 보정할 수 있는가?
• RQ4 비순차적 타겟 데이터만 이용 가능한 상황에서 재가중된 UQ 방법의 실용적 성능은 어느 정도인가?
• RQ5 비순차적 타겟 데이터로부터 추정된 중요도 가중치가 예측 집합과 校정 확률 양쪽 모두에서 유효한 불확실성 정량화를 복원할 수 있는가?

주요 결과

• 레이블 분포 변화는 예측 성능이 유지되더라도 표준적인 분포에 종속되지 않는 UQ 방법에서 커버리지와 校정 모두를 심각하게 악화시킨다.
• 추정된 중요도 가중치를 사용한 재가중 콕모럴 예측은 레이블 분포 변화 하에서도 여전히 균일한 커버리지를 회복하며, 이론적 보장을 지닌다.
• 재가중된 데이터를 활용한 사후 校정은 타겟 분포에서 근사적인 校정을 달성하지만, 보정되지 않은 校정은 실패한다.
• 포도주 품질 데이터셋에 대한 경험적 결과는 재가중된 UQ 방법이 이상적인 대각선 신뢰도 곡선을 잘 따르며, 보정되지 않은 방법보다 뛰어난 성능을 보임을 보여준다.
• 이론적 분석을 통해 추정된 확률의 오차는 중요도 가중치 추정의 정확도가 높아질수록 감소하며, 이는 레이블 분포 변화 하에서도 강건함을 보장한다.