[논문 리뷰] Universal distribution of the empirical coverage in split conformal prediction

Paulo C. Marques F.|arXiv (Cornell University)|2023. 03. 05.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 교환가능성 하에서 분할 순환 예측의 경험적 커버리지의 정확한 유한표본 및 점점 다가오는 분포를 확립한다. 어떤 명목상의 실수 커버리지 수준 α와 校정 표본 크기 n에 대해서든, 커버리지 분포는 끝없이 끝나지 않는 유한한 수평선과 미래 예측 수가 증가함에 따라 거의 확실히 수렴하는 극한에서 모두 일률적으로 Beta(⌈(1−α)(n+1)⌉, ⌊α(n+1)⌋) 분포로 나타난다.

ABSTRACT

When split conformal prediction operates in batch mode with exchangeable data, we determine the exact distribution of the empirical coverage of prediction sets produced for a finite batch of future observables, as well as the exact distribution of its almost sure limit when the batch size goes to infinity. Both distributions are universal, being determined solely by the nominal miscoverage level and the calibration sample size, thereby establishing a criterion for choosing the minimum required calibration sample size in applications.

연구 동기 및 목표

• 교환가능한 데이터 하에서 분할 순환 예측의 경험적 커버리지의 정확한 유한표본 분포를 기술하는 것.
• 미래 예측 수가 무한으로 갈수록 경험적 커버리지의 거의 확실한 극한 분포를 유도하는 것.
• 두 분포가 모두 보편적이며, 명목상 실수 커버리지 수준 α와 校정 표본 크기 n에만 의존함을 확립하는 것.
• 실제 응용에서 커버리지 변동성을 이해하기 위한 이론적 기초를 제공하는 것.
• 유한 및 점점 다가오는 조건 하에서 커버리지의 분포적 행동을 정량화하여 실용적 校정 표본 크기 선택을 지원하는 것.

제안 방법

• 데이터의 교환가능성을 활용하여 적합성 점수와 커버리지 지표의 교환가능성을 확립한다.
• de Finetti의 표현 정리를 적용하여 커버리지의 거의 확실한 극한을 베타분포 랜덤 변수로 모델링한다.
• Pólya의 우르니 모형을 확률적 유사성으로 사용하여 경험적 커버리지의 정확한 유한수평선 분포를 도출한다.
• de Finetti 혼합 측도에 대한 조합적 통합을 사용하여 미래 커버리지 $ C^{(n,\beta)}_m $ 의 정확한 분포를 $ m $, $ n $, 및 $ \alpha $ 의 함수로 도출한다.
• 혼합 측도 $ \mu_\Theta $ 를 $ b = \lceil(1-\alpha)(n+1)\rceil $, $ g = \lfloor\alpha(n+1)\rfloor $ 를 매개변수로 하는 베타분포로 특성화하여 정확한 커버리지 법칙을 도출한다.
• Scheffé의 정리를 적용하여 명목 수준에서의 커버리지 편차의 점점 다가오는 정규성을 확립한다.

Figure 1: Simulation of the future coverage discussed in Example 5 .

실험 결과

연구 질문

• RQ1 교환가능성 하에서 분할 순환 예측의 경험적 커버리지의 정확한 유한표본 분포는 무엇인가요?
• RQ2 미래 예측 수가 증가함에 따라 경험적 커버리지의 거의 확실한 극한 분포는 무엇인가요?
• RQ3 경험적 커버리지의 분포는 어떻게 보편적으로 명목상 실수 커버리지 수준과 校정 표본 크기에 의존합니까?
• RQ4 이 틀에서 de Finetti의 정리와 Pólya의 우르니 모형을 사용하여 커버리지 분포를 특성화할 수 있나요?
• RQ5 명목 수준 주위에 커버리지가 높은 확률로 집중되도록 하기 위해 필요한 표본 크기는 얼마입니까?

주요 결과

• 유한 수평선 $ m $ 에서의 경험적 커버리지 $ C^{(n,\alpha)}_m $ 는 교환가능성과 조합적 통합을 통해 유일하게 $ \alpha $ 와 $ n $ 에 의존하는 정확한 분포를 가진다.
• 경험적 커버리지의 거의 확실한 극한 $ C^{(n,\alpha)}_\infty $ 는 $ \mathrm{Beta}(\lceil(1-\alpha)(n+1)\rceil, \lfloor\alpha(n+1)\rfloor) $ 분포로 분포되며, 교환가능성 하에서 보편적인 결과이다.
• 극한 커버리지의 기댓값은 $ \mathbb{E}[C^{(n,\alpha)}_\infty] = 1 - \alpha + O(1/n) $ 이며, 명목 수준과 점점 다가오는 일致성을 보여준다.
• 극한 커버리지의 분산은 $ \mathrm{Var}[C^{(n,\alpha)}_\infty] = \frac{\alpha(1-\alpha)}{n} + O(1/n^2) $ 이며, $ 1/\sqrt{n} $ 의 속도로 수렴함을 나타낸다.
• 정규화된 편차 $ \sqrt{n}(C^{(n,\alpha)}_\infty - (1-\alpha)) $ 는 평균 0, 분산 $ \alpha(1-\alpha) $ 인 정규분포로 수렴한다.
• 실용적 校정을 위해 $ n = 860 $ 이면, 극한 커버리지가 $ \pm 0.02 $ 범위 내에 $ 1 - \alpha = 0.9 $ 에 위치할 확률가 95% 이상이 보장된다.

Figure 2: A connection between split conformal prediction and Pólya’s urn scheme.