[논문 리뷰] A tutorial on conformal prediction

Glenn Shafer, Vladimir Vovk|arXiv (Cornell University)|2007. 06. 21.

Machine Learning and Algorithms참고 문헌 27인용 수 623

한 줄 요약

이 튜토리얼은 과거 데이터를 사용하여 정확한 신뢰 수준을 갖는 예측 영역을 생성하는 방법인 콫포멀 예측(conformal prediction)을 소개한다. 이 방법은 교환가능성 또는 가우시안 선형 모델 하에서 유효한 커버리지 보장이 가능하다. 이는 어떤 점 예측기(point predictor)를 유한 샘플 오차 제어를 갖는 분포에 관계없는 예측 집합으로 변환하며, 온라인 환경에서 누적되는 데이터셋에서도 1−ϵ 커버리지가 유지된다.

ABSTRACT

Conformal prediction uses past experience to determine precise levels of confidence in new predictions. Given an error probability $ε$, together with a method that makes a prediction $\hat{y}$ of a label $y$, it produces a set of labels, typically containing $\hat{y}$, that also contains $y$ with probability $1-ε$. Conformal prediction can be applied to any method for producing $\hat{y}$: a nearest-neighbor method, a support-vector machine, ridge regression, etc. Conformal prediction is designed for an on-line setting in which labels are predicted successively, each one being revealed before the next is predicted. The most novel and valuable feature of conformal prediction is that if the successive examples are sampled independently from the same distribution, then the successive predictions will be right $1-ε$ of the time, even though they are based on an accumulating dataset rather than on independent datasets. In addition to the model under which successive examples are sampled independently, other on-line compression models can also use conformal prediction. The widely used Gaussian linear model is one of these. This tutorial presents a self-contained account of the theory of conformal prediction and works through several numerical examples. A more comprehensive treatment of the topic is provided in "Algorithmic Learning in a Random World", by Vladimir Vovk, Alex Gammerman, and Glenn Shafer (Springer, 2005).

연구 동기 및 목표

• 기계학습 및 통계 분야의 연구자들을 대상으로 콕포멀 예측에 대한 자가 포함된 튜토리얼을 제공하는 것.
• 최소한의 i.i.d. 또는 교환가능성 가정 하에서 콕포멀 예측이 유한 샘플 유효성을 보장하는 방식을 설명하는 것.
• SVM, 회귀, 신경망 등 다양한 예측 모델에 이 방법이 적용 가능한지를 보여주는 것.
• 순차적으로 업데이트되는 모델이 있는 온라인 학습 환경에서도 콕포멀 예측이 유효한 커버리지를 유지하는 방식을 보여주는 것.
• 수치 예제와 핵심 알고리즘을 통해 이론적 기초와 실용적 구현을 연결하는 것.

제안 방법

• 콕포멀 알고리즘은 과거 데이터에 비해 새로운 예측이 얼마나 이례적인지를 측정하는 비일치성 측도(nonconformity measure)를 사용하여 예측 영역을 구성한다.
• 주어진 오차율 ϵ에 대해, 이 방법은 진짜 레이블이 최소한 1−ϵ 확률로 포함되는 (1−ϵ)-예측 영역 Γϵ을 출력한다.
• 예측 영역는 콕포멀 분포 하에서 과거 학습 예제들과의 비일치성 점수 순위를 기반으로 계산된다.
• 회귀 문제에서는 일반적으로 점 예측 주변의 구간이 되며, 분류 문제에서는 후보 레이블의 집합이 될 수 있다.
• 이 방법은 교환가능성과 가우시안 선형 모델 하에서 유효하며, 데이터셋이 온라인으로 증가하더라도 정확한 커버리지 보장을 갖는다.
• 가우시안 선형 모델 하에서, 콕포멀 예측 영역는 고전적인 t-구간으로 간소화되며, 비일치성 측도 |y−ŷ| 하에서 동치성을 입증한다.

실험 결과

연구 질문

• RQ1 분포에 관계없는 방식으로, 어떻게 보편적인 유한 샘플 유효성을 갖는 예측 신뢰도를 정량화할 수 있는가?
• RQ2 온라인 학습 환경에서 콕포멀 예측 영역가 정확한 커버리지 확률 1−ϵ을 유지하기 위한 조건은 무엇인가?
• RQ3 가우시안 선형 모델 하에서 콕포멀 예측은 회귀 문제에서 고전적인 t-구간과 어떻게 비교되는가?
• RQ4 콕포멀 예측은 SVM 및 신경망과 같은 복잡한 모델을 포함한 모든 점 예측기에서 적용 가능한가?
• RQ5 특히 작은 예측 집합을 갖는 분류 문제에서, 유효성과 효율성 간의 상호 교환 관계는 어떻게 되는가?

주요 결과

• 콕포멀 예측은 교환가능성 하에서, 누적되는 데이터셋이 있는 경우에도 진짜 레이블이 예측 영역에 포함될 확률이 최소 1−ϵ임을 보장한다.
• 비일치성 측도가 |y−ŷ|일 경우, 가우시안 선형 모델 하에서 콕포멀 예측 영역는 정확히 고전적인 t-구간 (37)과 일치하며, 이는 이론적 동치성을 입증한다.
• 이 방법은 온라인 설정에서도 유효성을 유지한다. 여기서 예측은 순차적으로 이루어지며, 각 레이블은 다음 예측 이전에 공개된다.
• 분류 문제에서는 예측 레이블만 포함된 1−ϵ 예측 영역이 이상적인 결과이며, 이러한 조건을 만족하는 최소 ϵ 값이 신뢰 수준을 제공한다.
• 콕포멀 예측의 효율성은 비일치성 측도의 선택과 기저 데이터 분포에 따라 달라지며, 보다 우수한 측도는 더 좁고 정보가 풍부한 영역을 제공한다.
• 가우시안 선형 모델 하에서 콕포멀 알고리즘의 예측 영역는 t-분포 기반의 구간과 동일하며, 오차율은 정확히 ϵ이다. 독립적인 오차는 장기적 유효성을 보장한다.