[논문 리뷰] Selection and Aggregation of Conformal Prediction Sets

Yachong Yang, Arun Kumar Kuchibhotla|arXiv (Cornell University)|2021. 04. 28.

Gaussian Processes and Bayesian Inference참고 문헌 40인용 수 9

한 줄 요약

이 논문은 유한 표본 타당성과 함께 예측 집합의 폭을 최소화하기 위해 두 가지 새로운 콫리포르멀 예측 선택 방법—효율성 우선(EFCP)과 타당성 우선(VFCP)—을 제안한다. EFCP는 근사 커버리지와 함께 거의 최적의 폭을 달성하며, VFCP는 거의 최소 폭을 확보하면서도 유한 표본 타당성을 보장한다. 이는 오라클 부등식과 실증적 실험을 통해 검증되었으며, 기준 방법 대비 10–30% 더 좁은 간격을 제공한다.

ABSTRACT

Conformal prediction is a generic methodology for finite-sample valid distribution-free prediction. This technique has garnered a lot of attention in the literature partly because it can be applied with any machine learning algorithm that provides point predictions to yield valid prediction regions. Of course, the efficiency (width/volume) of the resulting prediction region depends on the performance of the machine learning algorithm. In the context of point prediction, several techniques (such as cross-validation) exist to select one of many machine learning algorithms for better performance. In contrast, such selection techniques are seldom discussed in the context of set prediction (or prediction regions). In this paper, we consider the problem of obtaining the smallest conformal prediction region given a family of machine learning algorithms. We provide two general-purpose selection algorithms and consider coverage as well as width properties of the final prediction region. The first selection method yields the smallest width prediction region among the family of conformal prediction regions for all sample sizes but only has an approximate coverage guarantee. The second selection method has a finite sample coverage guarantee but only attains close to the smallest width. The approximate optimal width property of the second method is quantified via an oracle inequality. As an illustration, we consider the use of aggregation of non-parametric regression estimators in the split conformal method with the absolute residual conformal score.

연구 동기 및 목표

• 여러 기계학습 알고리즘을 사용할 수 있을 때, 유한 표본 타당성과 효율성을 동시에 확보한 콕리포르멀 예측 집합을 구성하는 데 도전한다.
• 특히 소형 또는 중간 크기의 표본에서 커버리지 타당성을 훼손하지 않으면서도 예측 영역의 폭을 최소화한다.
• 일반적인 목적의 선택 알고리즘을 개발하여, 표준 콕리포르멀 방법보다 효율성을 높이면서도 분포에 관계없이 타당성을 유지한다.
• 다양한 설정 하에서 제안된 방법의 폭 성능에 대한 이론적 보장을 확보하기 위해 오라클 부등식을 활용한다.
• 예측 집합의 폭을 스칼라 간격을 초월해 일반화함으로써 고차원 및 복잡한 데이터에의 적용 가능성을 넓힌다.

제안 방법

• 효율성 우선 콕리포르멀 예측(EFCP)을 도입하여, 데이터 기반 선택 규칙을 사용해 일련의 분할 콕리포르멀 영역 중 폭이 가장 작은 예측 집합을 선택한다.
• 타당성 우선 콕리포르멀 예측(VFCP)을 개발하여, 유한 표본 커버리지 타당성을 보장하면서도 근사 최적 기준에 따라 폭을 최소화하는 영역을 선택한다.
• 기본 구축 기법으로 분할 콕리포르멀 방법을 사용하여, 일부 데이터로 학습하고 보류된 집합으로 校정하여 예측 간격을 계산한다.
• 경험 위험 최소화와 잔차 분위수를 사용해 콕리포르멀 점수를 계산함으로써, i.i.d. 가정 하에서 분포에 관계없이 타당성을 확보한다.
• 오라클 부등식을 적용하여, 특히 渐近적 영역에서 VFCP의 폭이 이론적 최소값에 비해 얼마나 가까운지 정량화한다.
• 예측 집합의 특성(예: 다중 레이블 설정에서의 오진 양성률 등)으로 폭 측정 기준을 일반화하여 더 넓은 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 여러 기계학습 알고리즘의 집합에서, 유한 표본 타당성과 동시에 가능한 한 좁은 예측 집합을 구성할 수 있는가?
• RQ2 콕리포르멀 예측에서, 유한 표본 커버리지 타당성과 예측 집합 효율성 사이의 균형을 어떻게 달성할 수 있는가?
• RQ3 다양한 알고리즘을 사용할 경우, 선택된 예측 집합의 폭에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 제안된 선택 방법은 분할 콕리포르멀 또는 교차 콕리포르멀과 같은 기존 콕리포르멀 방법과 비교해 폭과 커버리지 측면에서 어떻게 성능을 냈는가?
• RQ5 선택 프레임워크는 이미지나 함수와 같은 비수치적 또는 복잡한 예측 공간으로도 확장 가능할 수 있는가?

주요 결과

• EFCP는 다양한 차원에서 VFCP 대비 평균적으로 20% 더 좁은 예측 집합을 확보하며, 폭의 표준 오차도 평균 30% 감소시켰다.
• 고차원 설정(d ≥ N)에서는 선형 및 나이브 방법이 완전히 실패하여 길이 0의 간격과 0의 커버리지를 기록하지만, EFCP는 거의 완벽한 커버리지를 유지한다.
• EFCP는 근사적인 유한 표본 타당성을 제공하며, 모든 표본 크기에서 거의 최적의 폭을 달성한다. 시뮬레이션에서 커버리지 위반이 관찰되지 않았다.
• VFCP는 유한 표본 커버리지 타당성을 보장하며, 오라클 부등식으로 정량화된 바에 따르면 최적 폭의 일정한 요인 내에서 폭을 확보한다.
• 리지 회귀에서 펜alty 파라미터를 다양하게 설정한 경우, EFCP와 VFCP 모두 점점 최적에 수렴하는 점근적 최적성을 확보하며, 진짜 데이터 분포 하에서 가능한 한 작은 예측 영역을 달성한다.
• 다중 레이블 분류에서는 폭을 오진 양성률로 대체한 최적화 기준을 사용함으로써 성능 향상이 이루어졌으며, 이는 방법의 일반화 가능성에 대한 증거가 된다.