[논문 리뷰] Distribution-free binary classification: prediction sets, confidence intervals and calibration

Chirag Gupta, Aleksandr Podkopaev외 1명|arXiv (Cornell University)|2020. 06. 18.

Advanced Statistical Methods and Models인용 수 10

한 줄 요약

이 논문은 분포 자유(binary classification)에서 校정(calibration), 예측 집합(prediction sets), 신뢰구간(confidence intervals)을 연결하는 이론적 '삼각형'을 수립한다. 분포 자유 캘리브레이션은 수준 집합이 특징 공간을 최대 가산적으로 많은 집합들로 나누는 스코어링 함수에 대해서만 가능함을 증명하며, 플랫팅 스케일링과 같은 파라미터 모형 방법의 불가능성을 제거하고, 유효한 불확실성 정량화를 위한 비모수적 분할 기법의 타당성을 입증한다.

ABSTRACT

We study three notions of uncertainty quantification -- calibration, confidence intervals and prediction sets -- for binary classification in the distribution-free setting, that is without making any distributional assumptions on the data. With a focus towards calibration, we establish a 'tripod' of theorems that connect these three notions for score-based classifiers. A direct implication is that distribution-free calibration is only possible, even asymptotically, using a scoring function whose level sets partition the feature space into at most countably many sets. Parametric calibration schemes such as variants of Platt scaling do not satisfy this requirement, while nonparametric schemes based on binning do. To close the loop, we derive distribution-free confidence intervals for binned probabilities for both fixed-width and uniform-mass binning. As a consequence of our 'tripod' theorems, these confidence intervals for binned probabilities lead to distribution-free calibration. We also derive extensions to settings with streaming data and covariate shift.

연구 동기 및 목표

• 데이터 분포를 가정하지 않고 분포 자유 불확실성 정량화의 기본 한계를 규명하기 위해.
• 세 가지 핵심 불확실성 정량화 방법인 캘리브레이션, 예측 집합, 신뢰구간 간의 이론적 관계를 명확히 하기 위해.
• 후행 캘리브레이션(post-hoc calibration)이 분포 자유 설정에서 가능해지는 조건을 규명하기 위해.
• 분포 자유 보장을 만족하는 데이터 기반 분할을 사용한 유효한 비모수적 캘리브레이션 방법을 개발하기 위해.
• 더 넓은 실용적 적용 가능성을 위해 스트리밍 데이터 및 공변량 이동(covariate shift) 설정으로 프레임워크를 확장하기 위해.

제안 방법

• 분포 자유 설정에서 캘리브레이션, 예측 집합, 신뢰구간을 연결하는 정리의 '삼각형' 이론을 제안한다.
• 표본 분할을 사용하여 캘리브레이션을 위한 특징 공간의 데이터 기반 분할을 구성한다.
• 균일 질량 분할(uniform-mass binning)과 고정 너비 분할(fixed-width binning)을 적용하여 분할된 확률을 추정하고 분포 자유 신뢰구간을 유도한다.
• 분포 가정 없이 유효한 분할된 확률에 대한 분포 자유 신뢰구간을 도출하며, 이를 통해 분포 자유 캘리브레이션을 가능하게 한다.
• 순차적 확률 경계와 재가중 기법을 사용하여 순차적 및 공변량 이동 설정으로 결과를 확장한다.
• 집중 불등식과 잘 균형 잡힌 분할 조건을 활용하여 유한 표본에서의 신뢰구간 유효성을 보장한다.

실험 결과

연구 질문

• RQ1 스코어 기반 분류기에서 분포 자유 후행 캘리브레이션은 어떤 조건에서 가능할 수 있는가?
• RQ2 분포 자유 설정에서 캘리브레이션, 예측 집합, 신뢰구간은 어떻게 관련되어 있는가?
• RQ3 플랫팅 스케일링과 같은 파라미터 모형 캘리브레이션 방법은 왜 분포 자유 캘리브레이션을 달성하지 못하는가?
• RQ4 비모수적 분할 기법은 유효한 분포 자유 신뢰구간과 캘리브레이션을 제공할 수 있는가?
• RQ5 분포 자유 불확실성 정량화는 어떻게 스트리밍 데이터 및 공변량 이동 설정으로 확장될 수 있는가?

주요 결과

• 분포 자유 캘리브레이션은 스코어링 함수의 수준 집합이 특징 공간을 최대 가산적으로 많은 집합들로 나누는 경우에만 가능하다.
• 플랫팅 스케일링과 같은 파라미터 모형 캘리브레이션 기법은 심지어 점점 커지는 표본 크기에서도 분포 자유 캘리브레이션을 달성할 수 없다.
• 고정 너비 분할과 균일 질량 분할을 포함한 비모수적 분할 방법은 분할된 확률에 대해 유효한 분포 자유 신뢰구간을 제공한다.
• 이 신뢰구간은 직접적으로 분포 자유 캘리브레이션으로 이어지며, 세 가지 불확실성 정량화 방법 간의 이론적 순환 고리를 닫는다.
• 집중 불등식과 잘 균형 잡힌 분할 조건을 활용하여 신뢰구간의 이론적 보장을 확립하였으며, 이는 표본 수가 유한한 경우에도 유효하다.
• 순차적 확률 경계와 재가중 기법을 통해 스트리밍 데이터 및 공변량 이동 설정으로의 확장을 달성하였으며, 분포 자유 유효성은 유지된다.