[논문 리뷰] On the Expected Size of Conformal Prediction Sets

Guneet S. Dhillon, George Deligiannidis외 1명|arXiv (Cornell University)|2023. 06. 12.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 분할 순환 예측에서 예측 집합 크기의 유한 표본 이론적 분석을 처음으로 제공하며, 단일 데이터 분할을 사용하여 계산 가능한 점 추정치와 고확률 신뢰구간을 유도한다. 이 방법은 반복적인 몬테카를로 샘플링 없이도 효율적인 한 번의 추정을 가능하게 하며, 강력한 커버리지 보장을 확보하면서 회귀 및 분류 과제에서 실증적으로 검증되었다.

ABSTRACT

While conformal predictors reap the benefits of rigorous statistical guarantees on their error frequency, the size of their corresponding prediction sets is critical to their practical utility. Unfortunately, there is currently a lack of finite-sample analysis and guarantees for their prediction set sizes. To address this shortfall, we theoretically quantify the expected size of the prediction sets under the split conformal prediction framework. As this precise formulation cannot usually be calculated directly, we further derive point estimates and high-probability interval bounds that can be empirically computed, providing a practical method for characterizing the expected set size. We corroborate the efficacy of our results with experiments on real-world datasets for both regression and classification problems.

연구 동기 및 목표

• 예측 집합 크기의 유한 표본 분석 부족 문제를 해결하기 위해, 이는 실용적 구현에 핵심적이다.
• 분할 순환 프레임워크 하에서 예측 집합 크기의 이론적으로 타당하고 실증적으로 계산 가능한 예상 크기 추정치를 제공하기 위해.
• 다양한 사용자들이 다양한 오차 수용 수준과 데이터 제약 조건을 가질 때도 효율적인 단일 실행 추정을 가능하게 하기 위해.
• 비일관성 함수에 적응하는 고확률 신뢰구간을 제공하여 회귀 및 분류 문제 모두에 적용 가능하도록 하기 위해.
• 몬테카를로 평균화를 대체하여 이론적 근사치를 한 번의 계산으로 사용함으로써, 실증적 추정의 계산 부담을 줄이기 위해.

제안 방법

• 독립 동일분포(i.i.d.) 데이터 하에서 비일관성 점수의 분포를 기반으로 분할 순환 예측 집합의 기대 크기의 이론적 표현을 유도한다.
• 반복적인 모델 실행을 피하기 위해 경험적 校정 점수를 사용하여 예상 크기의 점 추정치를 제안한다.
• 중앙극한정리와 Dvoretzky–Kiefer–Wolfowitz 부등식을 적용하여 예상 크기 주위의 고확률 신뢰구간을 구성한다.
• 비일관성 함수에 적응하는 구간 추정 절차를 도입하여, 회귀 문제를 포함한 분류 문제에 모두 적용 가능하도록 한다.
• 합성 및 실제 데이터셋을 사용하여 추정치를 실증적으로 검증하며, 몬테카를로 평균과 비교한다.
• 모든 추정치에 대해 단일 데이터 분할을 사용하여, 사용자 설정에 따라 여러 번의 순환 예측 실행이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 분할 순환 예측 프레임워크에서 예측 집합 크기의 유한 표본 기대 크기는 무엇인가?
• RQ2 반복적인 몬테카를로 샘플링 없이도 예상 예측 집합 크기의 계산 가능한 점 추정치를 유도할 수 있는가?
• RQ3 다양한 비일관성 함수에 대해 유효한 고확률 신뢰구간을 어떻게 구성할 수 있는가?
• RQ4 정확도와 커버리지 측면에서 제안된 추정치는 몬테카를로 평균과 어떻게 비교되는가?
• RQ5 제안된 방법은 다양한 데이터 및 오차 수용 수준 제약 조건을 가진 분류 및 회귀 과제에 균일하게 적용될 수 있는가?

주요 결과

• 정리 1에서 유도된 이론적 예상 예측 집합 크기는 校정 점수의 수가 증가함에 따라 몬테카를로 평균의 극한으로서 검증된다.
• 제안된 점 추정치는 이론적 예상 크기와 밀접하게 일치하며, 校정 데이터 크기가 증가함에 따라 그로 수렴한다.
• 중앙극한정리와 Dvoretzky–Kiefer–Wolfowitz 부등식을 통해 구성된 신뢰구간은 높은 커버리지 성능을 보이며, 각각 γ=0.1 및 γ=0.01일 때 오류 빈도가 명목 수준 이하인 경우가 99.9% 및 100%의 비율로 관찰되었다.
• 제안된 구간은 비일관성 함수에 적응하며, 기존의 HI 구간과 달리 분류 문제에 국한되지 않고 회귀 문제에도 적용 가능하다.
• 반복적인 순환 예측 실행의 필요성을 줄여, 한 번의 데이터 수집과 계산으로 다양한 오차 수용 수준을 가진 여러 사용자에게 서비스할 수 있다.
• 합성 및 실제 데이터셋에 대한 실증 결과는 점 추정치와 구간 경계가 $a$, $b$, $m$, 및 $n$의 다양한 설정에서 정확하고 신뢰할 수 있음을 확인한다.