[논문 리뷰] Nested Conformal Prediction and the Generalized Jackknife

Arun Kumar Kuchibhotla, Aaditya Ramdas|arXiv (Cornell University)|2019. 10. 23.

Advanced Statistical Methods and Models인용 수 4

한 줄 요약

이 논문은 순차적인 내재된 집합의 시퀀스를 사용하여 순차적 예측을 재구성하는 내재된 순차적 예측 프레임워크를 소개한다. 이는 비일관성 점수(예: 분위수 회귀 및 밀도 추정 기반 점수 포함)를 통합적으로 다룰 수 있게 하며, 교차-순차적 및 재귀-순차적과 같은 집약 기법으로 자연스럽게 확장된다. 이 프레임워크는 분위수 회귀, 교차-순차적화, 앙상블 학습 및 백외 예측을 통합한 새로운 알고리즘 QOOB를 도출하며, 다양한 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Conformal prediction is a popular tool for providing valid prediction sets for classification and regression problems, without relying on any distributional assumptions on the data. While the traditional description of conformal prediction starts with a nonconformity score, we provide an alternate (but equivalent) view that starts with a sequence of nested sets and calibrates them to find a valid prediction set. The nested framework subsumes all nonconformity scores, including recent proposals based on quantile regression and density estimation. While these ideas were originally derived based on sample splitting, our framework seamlessly extends them to other aggregation schemes like cross-conformal, jackknife+ and out-of-bag methods. We use the framework to derive a new algorithm (QOOB, pronounced cube) that combines four ideas: quantile regression, cross-conformalization, ensemble methods and out-of-bag predictions. We develop a computationally efficient implementation of cross-conformal, that is also used by QOOB. In a detailed numerical investigation, QOOB performs either the best or close to the best on all simulated and real datasets.

연구 동기 및 목표

• 기존의 비일관성 점수 계산 방법을 일반화하는 통합적이고 분포에 종속되지 않는 순차적 예측 프레임워크를 개발하는 것.
• 샘플 분할을 초월하여 교차-순차적, 재귀-순차적, 백외 방법과 같은 집약 기법을 포함하는 순차적 예측을 확장하는 것.
• 분위수 회귀, 앙상블 방법, 교차-순차적화, 백외 예측을 내재된 프레임워크 내에서 통합하는 새로운 알고리즘 QOOB를 설계하는 것.
• 실제 구현을 위한 계산 효율적인 교차-순차적 예측의 구현을 제공하는 것.
• 모의 및 실세계 데이터셋에서 QOOB의 성능을 경험적으로 평가하여 그 우월성 또는 근접한 우월성을 입증하는 것.

제안 방법

• 프레임워크는 기본 예측기로부터 유도된 내재된 예측 집합의 시퀀스로 시작하며, 전통적인 비일관성 점수 접근 방식을 대체한다.
• 교환 가능성 조건 하에서 유한 표본의 유효성을 확보하기 위해 이러한 내재된 집합의 크기를 조정함으로써 校정(캘리브레이션)을 수행한다.
• 내재된 집합의 구조를 통해 분위수 회귀 및 밀도 추정 기반 점수를 포함한 모든 표준 비일관성 점수 계산 방식을 일반화한다.
• 내재된 구조를 활용하여 교차-순차적, 재귀-순차적, 백외 예측과 같은 집약 기법을 일관된 校정(캘리브레이션)과 함께 원활하게 통합할 수 있다.
• 비일관성 점수로 분위수 회귀를 사용하고, 앙상블 평균, 교차-순차적화, 백외 예측을 통합한 새로운 알고리즘 QOOB(분위수 백외)를 유도한다.
• 교차-순차적 예측의 효율적인 구현을 개발하였으며, 이는 QOOB에서 계산 비용을 줄이기 위해 재사용된다.

실험 결과

연구 질문

• RQ1 내재된 집합 프레임워크는 순차적 예측의 기존 비일관성 점수 계산 방법을 통합하고 일반화할 수 있는가?
• RQ2 샘플 분할을 초월하여 교차-순차적, 재귀-순차적과 같은 집약 기법을 포함하는 순차적 예측은 어떻게 확장할 수 있는가?
• RQ3 분위수 회귀, 앙상블 방법, 교차-순차적화, 백외 예측을 하나의 알고리즘에 통합함으로써 달성할 수 있는 성능 향상은 무엇인가?
• RQ4 내재된 프레임워크는 교차-순차적 예측의 계산 효율적인 구현을 지원할 수 있는가?
• RQ5 제안된 QOOB 알고리즘이 다양한 데이터셋에서 예측 집합 크기와 커버리지 유효성 측면에서 기존 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 내재된 순차적 예측 프레임워크는 순차적 예측의 동치이지만 더 일반적인 공식화를 제공하며, 모든 표준 비일관성 점수를 포함한다.
• 이 프레임워크는 교차-순차적, 재귀-순차적, 백외 예측과 같은 집약 기법을 핵심 校정(캘리브레이션) 절차를 수정하지 않고 자연스럽게 확장할 수 있도록 한다.
• 이 프레임워크에서 유도된 QOOB는 연구에서 평가된 모든 모의 및 실세계 데이터셋에서 최고 또는 근접 최고의 성능을 달성한다.
• 교차-순차적 예측의 계산 효율적인 구현은 대규모 실용적 구현을 가능하게 한다.
• 내재된 프레임워크는 분위수 회귀와 앙상블 학습을 순차적 예측 내에서 원칙적으로 통합할 수 있게 하여 예측 집합의 품질을 향상시킨다.