[논문 리뷰] Theoretical Foundations of Conformal Prediction

Anastasios N. Angelopoulos, Rina Foygel Barber외 1명|ArXiv.org|2024. 11. 18.

Neural Networks and Applications인용 수 7

한 줄 요약

이 책은 교환가능성에 기반한 분포 자유(distribution-free) 이론에 따른 conformal 예측의 포괄적 체계를 제시하며, 분할(split) 및 전체(full) conformal 방법, conformal 점수, 예측의 불확실성 정량화를 위한 확장들을 상세히 다룬다. 기본 보장을 발전시키고 conformal 예측을 순열 검정 및 더 넓은 추론 작업과 연결한다.

ABSTRACT

This book is about conformal prediction and related inferential techniques that build on permutation tests and exchangeability. These techniques are useful in a diverse array of tasks, including hypothesis testing and providing uncertainty quantification guarantees for machine learning systems. Much of the current interest in conformal prediction is due to its ability to integrate into complex machine learning workflows, solving the problem of forming prediction sets without any assumptions on the form of the data generating distribution. Since contemporary machine learning algorithms have generally proven difficult to analyze directly, conformal prediction's main appeal is its ability to provide formal, finite-sample guarantees when paired with such methods. The goal of this book is to teach the reader about the fundamental technical arguments that arise when researching conformal prediction and related questions in distribution-free inference. Many of these proof strategies, especially the more recent ones, are scattered among research papers, making it difficult for researchers to understand where to look, which results are important, and how exactly the proofs work. We hope to bridge this gap by curating what we believe to be some of the most important results in the literature and presenting their proofs in a unified language, with illustrations, and with an eye towards pedagogy.

연구 동기 및 목표

• Conformal prediction을 사용하여 분포 가정 없이 예측 불확실성을 정량화한다.
• 교환가능성 또는 i.i.d. 데이터 하에서 보편적 커버리지를 확립한다.
• Split 및 full conformal 예측 프레임워크의 개발 및 비교와 그 효율성을 평가한다.
• Conformal 점수의 도입 및 분석과 이들이 구간 효율성 및 적응도에 미치는 영향을 탐구한다.
• Cross-conformal, 가중(weighted), 온라인(online), 모델 기반(model-based) 관점과 보정(calibration) 등 확장을 포함한다.

제안 방법

• Split conformal prediction 알고리즘을 제시하고 i.i.d. 데이터 하에서의 한계 커버리지를 증명한다.
• Conformal score 함수(잔차, 스케일 잔차, CQR, 고확률 점수)를 도입하고 형식화하며 이들이 예측 집합을 생성하는 방식을 보인다.
• Conformal 점수의 선택이 예측 집합의 모양과 적응성에 영향을 준다는 것을 입증한다.
• 전체 conformal 예측 프레임워크와 이것의 순열 검사 및 교환가능성과의 관계를 논의한다.
• 확장 및 변형(교차-컨포멀, CV+, 잭나이프+, 가중 및 국지화된 conformal 방법, 온라인 conformal 예측)을 개략적으로 제시한다.
• 일관된 모델 기반 관점과 점근적 보장 및 로버스트성 고려사항을 제공한다.

실험 결과

연구 질문

• RQ1 교환가능성 또는 i.i.d. 데이터 하에서 conformal prediction의 보편적 커버리지를 보장하는 조건은 무엇인가?
• RQ2 Split 및 full conformal 절차가 통계적 효율성과 계산 요구 측면에서 어떻게 비교되는가?
• RQ3 회귀 및 분류 전반에서 정보는 주되면서도 유효한 예측 집합을 만들어내는 conformal score 함수는 무엇인가?
• RQ4 conformal prediction을 i.i.d. 데이터 밖의 가중된, 온라인 또는 모델 기반 설정으로 확장할 수 있는 정도는 어느 정도인가?
• RQ5 조건부 커버리지 및 기타 더 강한 타당성 개념을 위한 타협점과 완화가 무엇이 필요한가?

주요 결과

• Split conformal prediction은 i.i.d. 데이터에서 임의의 예측 모델과 어떤 점수 함수 선택에 대해서도 한계 커버리지를 제공한다.
• 잔차, 스케일 잔차, CQR, 고확률 점수 등 광범위한 conformal 점수 클래스가 데이터 특성에 맞춘 적응을 허용하면서도 유효한 예측 집합을 산출한다.
• 전체 conformal prediction 및 교환가능성 기반 해석은 순열 검사와 연관되어 분포 가정 없이도 유한 샘플 커버리지 보장을 가능하게 한다.
• Cross-conformal, CV+, 잭나이프+ 변형은 데이터 재사용과 앙상블 유사 아이디어를 통해 커버리지 보장을 확장하고 효율성을 개선한다.
• 가중된, 국지화된, 온라인 conformal 방법은 분포 변화, 공변량 변화 및 스트리밍 데이터에 대한 적용성을 넓히며 교환가능성 유사 조건 하에서 타당성을 유지한다.
• 이 프레임워크는 모델 기반 분석과도 통합되며 교환가능성 위반 시에도 점근적 보장과 로버스트성 고려를 제공한다.