[논문 리뷰] Stable Conformal Prediction Sets

Eugène Ndiaye|arXiv (Cornell University)|2021. 12. 19.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 데이터 분할 없이도 안정적인 콫포멀 예측 집합을 구성하기 위한 계산적으로 효율적인 방법을 제안한다. 알고리즘 안정성 한계를 활용하여 정확한 콕포멀 집합을 유한 표본 커버리지 보장을 보장하면서 근사화한다. 이 방법은 단일 모델 피팅만 필요하며, 모델이 안정적이고 표본 크기가 크면 날카운 확률 구간을 달성한다.

ABSTRACT

When one observes a sequence of variables $(x_1, y_1), \ldots, (x_n, y_n)$, Conformal Prediction (CP) is a methodology that allows to estimate a confidence set for $y_{n+1}$ given $x_{n+1}$ by merely assuming that the distribution of the data is exchangeable. CP sets have guaranteed coverage for any finite population size $n$. While appealing, the computation of such a set turns out to be infeasible in general, e.g. when the unknown variable $y_{n+1}$ is continuous. The bottleneck is that it is based on a procedure that readjusts a prediction model on data where we replace the unknown target by all its possible values in order to select the most probable one. This requires computing an infinite number of models, which often makes it intractable. In this paper, we combine CP techniques with classical algorithmic stability bounds to derive a prediction set computable with a single model fit. We demonstrate that our proposed confidence set does not lose any coverage guarantees while avoiding the need for data splitting as currently done in the literature. We provide some numerical experiments to illustrate the tightness of our estimation when the sample size is sufficiently large, on both synthetic and real datasets.

연구 동기 및 목표

• 무한한 후보 타깃에 대해 재학습이 필요하기 때문에 정확한 콕포멀 예측의 계산 비용이 과도한 문제를 해결하기 위해.
• 데이터 분할이 필요 없이도 유한 표본 커버리지 보장을 유지하면서 콕포멀 예측에 적용하기 위해.
• 알고리즘 안정성을 활용하여 모델 변동성을 제한하고 예측 집합의 효율적 계산을 가능하게 하기 위해.
• 연속된 결과에 대해 계산적으로 비현실적인 기존 콕포멀 예측 방법의 실용적이고 확장 가능한 대안을 제공하기 위해.
• 표본 크기가 충분할 경우 안정성 기반 근사가 정확한 콕포멀 집합과 유사한 날카운 확률 구간을 제공함을 보여주기 위해.

제안 방법

• 기존의 데이터 분할 방법을 대체하여, 입력 변형에 따른 모델 편차에 대한 안정성 기반 한계를 사용한다.
• 전체 데이터셋에 대해 단일 모델 피팅을 수행하고, 예측 함수의 안정성에 기반한 신뢰 집합을 유도한다.
• 핵심 아이디어는 타깃 레이블을 후보로 대체했을 때 예측 점수의 변화를 리프시츠 연속성과 알고리즘 안정성으로 제한하는 것이다.
• 예측 점수가 경험 분포 기준으로 너무 극단적이지 않은 후보 z에 대해 정의된 예측 집합이며, 안정성 항목으로 조정된다.
• 각 후보 z에 대해 재학습이 필요 없이 안정성 보정된 p-값 함수를 통해 신뢰 집합을 구성한다.
• 학습 알고리즘의 안정성에서 유도된, 변형된 레이블 하에서 예측 점수의 차이에 대한 이론적 한계에 의존한다.

실험 결과

연구 질문

• RQ1 데이터 분할 없이도 보장된 유한 표본 커버리지와 함께 회귀에 대한 콕포멀 예측 집합을 구성할 수 있는가?
• RQ2 어떻게 알고리즘 안정성을 활용하여 콕포멀 예측 집합을 효율적으로 근사화할 수 있는가?
• RQ3 데이터 분할을 피할 경우 콕포멀 예측에서 계산 효율성과 정확성 사이의 상충 관계는 어떻게 되는가?
• RQ4 신뢰 집합의 날카움은 모델 안정성과 표본 크기에 따라 어떻게 달라지는가?
• RQ5 안정성 한계를 활용하여 정확한 콕포멀 예측의 성능을 따라잡는 단일 피팅 방법을 유도할 수 있는가?

주요 결과

• 제안된 방법은 데이터 분할 없이도 정확한 유한 표본 커버리지를 달성하며, 콕포멀 예측의 이론적 보장을 유지한다.
• 계산적으로 효율적이며, 실험 결과 기준 표준 분할 콕포멀 방법 대비 20~30배 빠르다.
• 합성 및 실질 데이터셋에서 안정적인 콕포멀 집합(stabCP)은 표본 크기가 증가할수록 정확한 콕포멀 집합(rootCP)에 매우 가까이 근사된다.
• 모델이 안정적이고 표본 크기가 클 경우에 가장 잘 작동하며, 안정성 한계는 O(1/n)로 감소한다.
• 작은 표본 크기에서는 안정성 추정이 신뢰할 수 없어 정밀도가 떨어지지만, 커버리지 보장은 유지된다.
• 특히 비볼록 모델(예: 딥 네ural 네트워크)에서는 안정성 한계가 알려지거나 잘못 추정될 경우 이 방법을 적용할 수 없다.