[논문 리뷰] MAPIE: an open-source library for distribution-free uncertainty quantification

Vianney Taquet, Vincent Blot외 3명|arXiv (Cornell University)|2022. 07. 25.

Machine Learning and Data Classification인용 수 16

한 줄 요약

MAPIE는 회귀 및 다중 분류 작업을 위한 분포 자유 불확실성 정량화를 가능하게 하는 오픈소스, scikit-learn 호환 Python 라이브러리입니다. 보다 강력한 이론적 보장을 제공하며, 데이터나 모델 분포에 대한 최소한의 가정으로도 변동성 커버리지에 대해 보장합니다. Jackknife+, CV+, Jackknife+-after-Bootstrap 등의 방법을 지원하여 안정적인 예측 구간과 집합을 제공합니다.

ABSTRACT

Estimating uncertainties associated with the predictions of Machine Learning (ML) models is of crucial importance to assess their robustness and predictive power. In this submission, we introduce MAPIE (Model Agnostic Prediction Interval Estimator), an open-source Python library that quantifies the uncertainties of ML models for single-output regression and multi-class classification tasks. MAPIE implements conformal prediction methods, allowing the user to easily compute uncertainties with strong theoretical guarantees on the marginal coverages and with mild assumptions on the model or on the underlying data distribution. MAPIE is hosted on scikit-learn-contrib and is fully "scikit-learn-compatible". As such, it accepts any type of regressor or classifier coming with a scikit-learn API. The library is available at: https://github.com/scikit-learn-contrib/MAPIE/.

연구 동기 및 목표

• 머신러닝 분야에서 모델에 종속되지 않고 이론적으로 기반을 둔 불확실성 정량화 도구가 부족한 문제를 해결하기 위해.
• 데이터나 모델 분포에 대한 최소한의 가정으로도 예측 커버리지에 대해 강력한 이론적 보장을 제공하기 위해.
• 딥 러닝 및 기울기 부스팅 모델을 포함한 모든 scikit-learn 호환 추정기와 원활하게 통합할 수 있도록 하기 위해.
• 회귀 및 다중 분류 작업 모두에 대해 불확실성 추정을 가능하게 하며, 공차 예측을 통해 conformal prediction을 지원하기 위해.
• 오픈소스 및 표준 준수 소프트웨어를 통해 AI 시스템의 투명성, 신뢰성 및 규제 준수를 촉진하기 위해.

제안 방법

• 예측 구간(회귀) 또는 예측 집합(분류)을 보장된 변동성 커버리지로 구성하기 위해 분할 및 교차 공차 예측을 사용합니다.
• 예측의 일반성 정도를 측정하기 위해 잔차(회귀의 경우) 또는 순위화된 소프트맥스 점수(분류의 경우)인 적합도 점수를 활용합니다.
• 과적합을 방지하고 유효한 커버리지를 확보하기 위해 적합도 점수를 별도의 校정 데이터셋에서 校정합니다.
• 사용자 정의된 위험 수준 α에서 적합도 점수 분포의 분위수를 추정하여 예측 경계를 정의합니다.
• 다양한 공차 예측 변형을 지원합니다: 회귀의 경우 Jackknife+, CV+, Jackknife+-after-Bootstrap; 분류의 경우 score, cumulated_score, top_k, random_cumulated_score.
• MapieRegressor 및 MapieClassifier의 리팩터라이즈된 기본 클래스를 통해 새로운 공차 방법으로의 확장 프레임워크를 제공합니다.

실험 결과

연구 질문

• RQ1 불확실성 정량화는 어떻게 모델에 종속되지 않게 하여 다양한 머신러닝 모델(딥 러닝 및 기울기 부스팅 포함)에 적용할 수 있을까?
• RQ2 공차 예측 방법은 데이터나 모델 분포에 대한 최소한의 가정으로도 변동성 커버리지에 대해 강력한 이론적 보장을 제공할 수 있는가?
• RQ3 다양한 위험 수준에서 다양한 공차 예측 방법은 커버리지 정확도, 예측 집합 크기 및 내성에 대해 어떻게 비교될 수 있는가?
• RQ4 교정 데이터셋 크기와 모델 복잡도는 불확실성 추정의 신뢰성과 효율성에 어떤 영향을 미치는가?
• RQ5 공차 예측은 시계열, 이미지 세그멘테이션, 객체 탐지와 같은 새로운 머신러닝 환경으로 어떻게 확장될 수 있는가?

주요 결과

• MAPIE는 모델 출력 점수가 校정 확률이 아니어도, 모든 테스트된 위험 수준(α)에서 회귀 및 분류 작업 모두에 대해 목표 변동성 커버리지를 달성합니다.
• MapieClassifier의 'score' 방법은 모든 α 값에서 평균 예측 집합 크기가 가장 작지만, 불확실한 경우 빈 집합이 발생할 수 있습니다.
• ‘cumulated_score’ 방법은 최소한 하나의 레이블이 항상 포함되도록 보장하지만, 낮은 α 값에서 과대 추정된 변동성 커버리지를 초래할 수 있습니다.
• ‘random_cumulated_score’ 방법은 목표에 가까운 커버리지를 유지하지만, 마지막 레이블을 무작위로 포함시켜 불안정성을 유발할 수 있으며, 이로 인해 빈 집합이 발생할 수 있습니다.
• MapieQuantileRegressor에 구현된 공차 예측 히스토그램 회귀는 局부적 이방성 노이즈에 반응하는 적응형 예측 구간 폭을 제공합니다.
• MAPIE는 scikit-learn 추정기와 완전히 호환되며, 커스텀 래퍼를 통해 scikit-learn 기반 외 모델(예: 딥 러닝 모델)도 래핑하여 넓은 적용 범위를 확보합니다.