[논문 리뷰] Inductive Conformal Prediction: A Straightforward Introduction with Examples in Python

Martim Sousa|arXiv (Cornell University)|2022. 06. 23.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 분포 자유형, 모델 독립형 방법인 인덕티브 콫라스티브 예측(ICP)을 제안한다. 이 방법은 보장된 커버리지 확률을 갖는 예측 구간 또는 예측 집합을 생성한다. ICP는 학습 데이터셋에서 모델을 훈련하고, 校정 데이터셋에서 비일관성 점수(non-conformity scores)를 계산한 후, 이러한 점수의 분위수를 이용해 신뢰 집합을 형성한다. 주요 기여는 봄형, 보스턴 주택, CIFAR-10과 같은 실제 데이터셋을 활용한 회귀 및 분류 문제에 ICP를 적용하는 실용적이고 실습 중심의 파이썬 예제를 제공하는 것이다.

ABSTRACT

Inductive Conformal Prediction (ICP) is a set of distribution-free and model agnostic algorithms devised to predict with a user-defined confidence with coverage guarantee. Instead of having point predictions, i.e., a real number in the case of regression or a single class in multi class classification, models calibrated using ICP output an interval or a set of classes, respectively. ICP takes special importance in high-risk settings where we want the true output to belong to the prediction set with high probability. As an example, a classification model might output that given a magnetic resonance image a patient has no latent diseases to report. However, this model output was based on the most likely class, the second most likely class might tell that the patient has a 15% chance of brain tumor or other severe disease and therefore further exams should be conducted. Using ICP is therefore way more informative and we believe that should be the standard way of producing forecasts. This paper is a hands-on introduction, this means that we will provide examples as we introduce the theory.

연구 동기 및 목표

• 기계 학습에서 불확실성 정량화를 위한 분포 자유형, 모델 독립형 방법으로 인덕티브 콕라스티브 예측(ICP)을 소개하는 것.
• 포인트 예측의 한계를 보완하기 위해 보장된 통계적 커버리지 확률을 갖는 예측 구간 또는 집합을 제공하는 것.
• 단일 클래스나 포인트 추정치보다 더 정보적인 출력을 제공함으로써, 고위험 응용 분야에서의 의사결정을 향상시키는 데서 ICP의 역할을 설명하는 것.
• 나이브, 클래스 균형, 적응형 예측 집합을 포함한 다양한 비일관성 점수 전략의 성능을 비교하여 분류 문제에서 보다 우수한 校정 및 적응성을 확보하는 것.
• 실제 데이터셋에 ICP를 적용할 수 있도록 scikit-learn과 Keras를 활용한 실용적이고 코드 기반의 가이드를 제공하여 실세계 적용을 촉진하는 것.

제안 방법

• 데이터셋을 상호 배타적인 세 개의 집합으로 분할: 학습(50%), 校정(25%), 검증(25%)으로 독립성을 확보한다.
• 학습 데이터셋에서 기계 학습 모델을 훈련하여 校정 및 검증 데이터셋에 대한 예측을 생성한다.
• 예측 오차 또는 불확실성을 정량화하기 위한 비일관성 점수 함수 s(x, y)를 정의한다; 회귀의 경우 s(x, y) = |f(x) - y|; 분류의 경우 s(x, y) = 1 - f(x)_y.
• 校정 데이터셋에서 비일관성 점수의 (1−α) 분위수를 계산하여, 근사 커버리지 보장을 확보하는 임계값 q̂를 도출한다.
• 예측 집합 C(x_val)를 구간 또는 클래스 집합으로 구성하여, y_val ∈ C(x_val)일 확률이 최소 1−α가 되도록 한다.
• 적응형 예측 집합의 경우, 신뢰도 순서로 정렬된 누적 소프트맥스 확률을 사용하여, 가장 가능성 높은 클래스부터 가장 낮은 클래스까지 누적 합이 q̂를 초과할 때까지 포함한다.

실험 결과

연구 질문

• RQ1 인덕티브 콕라스티브 예측는 회귀 및 분류 문제에서 보장된 마진 커버리지 확률을 갖는 예측 집합을 어떻게 생성할 수 있는가?
• RQ2 나이브, 클래스 균형, 적응형 비일관성 점수 함수 간의 실용적 차이점은 커버리지 및 집합 크기 측면에서 무엇인가?
• RQ3 비일관성 점수 함수의 선택은 실제 응용에서 예측 집합의 크기와 정보성에 어떤 영향을 미치는가?
• RQ4 불균형 설정에서 ICP는 다양한 클래스 간에 커버리지를 얼마나 잘 유지하는가? 이를 개선하기 위한 방법은 무엇인가?
• RQ5 표준 기계 학습 프레임워크인 scikit-learn과 Keras를 사용하여 ICP를 최소한의 코드로 실무에서 효과적으로 구현할 수 있는가?

주요 결과

• 나이브 방법을 사용한 회귀 분석에서 α=0.1일 때 90% 커버리지 비율을 기록하여, ICP가 유효한 예측 구간을 생성할 수 있음을 입증했다.
• 분류 문제에서 나이브 방법은 α=0.1일 때 검증 커버리지 88.18%를 기록하여, 클래스별 변동성에도 불구하고 마진 커버리지 보장을 확인했다.
• 클래스 균형 방법은 나이브 방법에서 관찰된 과도한 또는 부족한 커버리지 문제를 줄여, 클래스 간 커버리지 일관성을 향상시켰다.
• 적응형 예측 집합(APS) 방법은 α=0.1일 때 검증 커버리지 90.44%를 달성하여, 누적 신뢰도 기반으로 클래스를 포함시음으로써 보다 높은 적응성을 확보했다.
• APS는 나이브 방법보다 더 큰 예측 집합을 생성하여, 특히 모호한 입력에서 불확실성을 보다 종합적으로 반영할 수 있음을 보여주었다.
• T=100회의 시뮬레이션을 통한 경험적 검증 결과, 경험적 커버리지 분포가 이론적 분포 Beta(n_cal+1−l, l)와 매우 유사하게 일치하여 ICP의 정확한 구현을 확인했다.