[論文レビュー] MAPIE: an open-source library for distribution-free uncertainty quantification

Vianney Taquet, Vincent Blot+3 more|arXiv (Cornell University)|Jul 25, 2022

Machine Learning and Data Classification被引用数 16

ひとこと要約

MAPIE は、適合予測を用いた分布フリーな不確実性評価を回帰および多クラス分類に可能にする、オープンソースで scikit-learn 互換の Python ライブラリです。最小限の仮定で周辺カバレッジに強い理論的保証を提供し、ジャッケナイフ+、CV+、ジャッケナイフ＋後ブートストラップなどの手法をサポートし、頑健な予測区間および予測集合を実現します。

ABSTRACT

Estimating uncertainties associated with the predictions of Machine Learning (ML) models is of crucial importance to assess their robustness and predictive power. In this submission, we introduce MAPIE (Model Agnostic Prediction Interval Estimator), an open-source Python library that quantifies the uncertainties of ML models for single-output regression and multi-class classification tasks. MAPIE implements conformal prediction methods, allowing the user to easily compute uncertainties with strong theoretical guarantees on the marginal coverages and with mild assumptions on the model or on the underlying data distribution. MAPIE is hosted on scikit-learn-contrib and is fully "scikit-learn-compatible". As such, it accepts any type of regressor or classifier coming with a scikit-learn API. The library is available at: https://github.com/scikit-learn-contrib/MAPIE/.

研究の動機と目的

• 機械学習におけるモデルに依存しない、理論的根拠に基づいた不確実性評価ツールの不足に対処すること。
• データやモデルの分布に対する仮定を最小限に抑え、予測カバレッジに強い理論的保証を提供すること。
• 任意の scikit-learn 互換推定器（深層学習や勾配ブースティングモデルを含む）とのシームレスな統合を可能にすること。
• 回帰および多クラス分類タスクの両方において、適合予測による不確実性推定をサポートすること。
• オープンソースで標準準拠のソフトウェアを通じて、AI システムの透明性、信頼性、規制適合性を促進すること。

提案手法

• 分割型およびクロス適合予測を用いて、周辺カバレッジが保証された予測区間（回帰）または予測集合（分類）を構築する。
• 適合スコア（回帰では残差、分類では順序付きソフトマックススコア）を用い、予測の典型性を測定する。
• 過学習を避けるために、適合スコアを別個のキャリブレーションセットでキャリブレーションし、有効なカバレッジを確保する。
• ユーザーが指定したリスク水準 α において、適合スコア分布の分位数を推定して予測境界を定義する。
• 複数の適合予測バリエーションをサポート：回帰にはジャッケナイフ+、CV+、ジャッケナイフ＋後ブートストラップを、分類にはスコア、累積スコア、トップK、ランダム累積スコアをサポート。
• MapieRegressor および MapieClassifier の基盤クラスを再設計し、新たな適合予測手法への拡張を可能にするフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 不確実性評価をどのようにしてモデルに依存せず、深層学習や勾配ブースティングを含む多様な機械学習モデルに適用可能にすることができるか？
• RQ2 適合予測手法は、データやモデルの分布に対する仮定を最小限に抑えつつ、周辺カバレッジに強い理論的保証を提供できるか？
• RQ3 異なる適合予測手法は、さまざまなリスク水準において、カバレッジの正確さ、予測集合のサイズ、および頑健性の観点でどのように比較できるか？
• RQ4 キャリブレーションセットのサイズやモデルの複雑さが、不確実性推定の信頼性および効率性に与える影響は何か？
• RQ5 適合予測は、時系列、画像セグメンテーション、オブジェクト検出などの新たな機械学習設定にどのように拡張できるか？

主な発見

• MAPIE は、回帰および分類タスクの両方において、モデル出力スコアがキャリブレートされた確率でない場合でも、すべてのテストされたリスク水準（α）で目標の周辺カバレッジを達成している。
• MapieClassifier の 'score' メソッドは、すべての α 値において平均的な予測集合サイズが最小であるが、不確実な状況では空集合を生じる可能性がある。
• 'cumulated_score' メソッドは、常に少なくとも1つのラベルが含まれることを保証するが、低リスク水準 α ではカバレッジが過剰に推定される。
• 'random_cumulated_score' メソッドは、目標に近いカバレッジを維持するが、最後のラベルをランダムに含めるため不安定性が生じ、空集合を生じる可能性がある。
• MapieQuantileRegressor における適合化分位数回帰の実装により、局所的な不均一分散に応じて適応的に予測区間の幅を変更できる。
• MAPIE は scikit-learn 推定器と完全に互換性があり、カスタムラッパーを介して非 scikit-learn モデル（例：深層学習モデル）をラップできるため、広範な適用性を有する。