[论文解读] MAPIE: an open-source library for distribution-free uncertainty quantification

Vianney Taquet, Vincent Blot+3 more|arXiv (Cornell University)|Jul 25, 2022

Machine Learning and Data Classification被引用 16

一句话总结

MAPIE 是一个开源的、与 scikit-learn 兼容的 Python 库，可使用逐点预测方法对回归和多分类任务实现无需分布假设的不确定性量化。它在极少假设下提供对边际覆盖的强理论保证，支持 Jackknife+、CV+ 和 Jackknife+-after-Bootstrap 等方法，用于构建稳健的预测区间和预测集合。

ABSTRACT

Estimating uncertainties associated with the predictions of Machine Learning (ML) models is of crucial importance to assess their robustness and predictive power. In this submission, we introduce MAPIE (Model Agnostic Prediction Interval Estimator), an open-source Python library that quantifies the uncertainties of ML models for single-output regression and multi-class classification tasks. MAPIE implements conformal prediction methods, allowing the user to easily compute uncertainties with strong theoretical guarantees on the marginal coverages and with mild assumptions on the model or on the underlying data distribution. MAPIE is hosted on scikit-learn-contrib and is fully "scikit-learn-compatible". As such, it accepts any type of regressor or classifier coming with a scikit-learn API. The library is available at: https://github.com/scikit-learn-contrib/MAPIE/.

研究动机与目标

• 解决 Python 中缺乏模型无关、理论基础坚实的机器学习不确定性量化工具的问题。
• 在对数据或模型分布的假设极少的情况下，提供对预测覆盖的强理论保证。
• 实现与任何与 scikit-learn 兼容的估计器（包括深度学习和梯度提升模型）的无缝集成。
• 支持回归和多分类任务的不确定性估计，通过逐点预测方法实现。
• 通过开源、符合标准的软件，促进人工智能系统的透明度、可信度和合规性。

提出的方法

• 使用分割和交叉逐点预测方法，构建具有保证边际覆盖的预测区间（回归）或预测集合（分类）。
• 采用符合性评分——回归使用残差，分类使用排序后的 softmax 分数——以衡量预测的典型程度。
• 在独立的校准集上校准符合性评分，以避免过拟合并确保覆盖有效性。
• 在用户定义的风险水平 α 下，估计符合性评分分布的分位数，以定义预测边界。
• 支持多种逐点预测变体：回归任务使用 Jackknife+、CV+ 和 Jackknife+-after-Bootstrap；分类任务使用 score、cumulated_score、top_k 和 random_cumulated_score。
• 通过重构的基类（MapieRegressor 和 MapieClassifier）提供框架，便于扩展至新的逐点预测方法。

实验结果

研究问题

• RQ1 如何使不确定性量化实现模型无关，并适用于各种机器学习模型，包括深度学习和梯度提升模型？
• RQ2 逐点预测方法是否能在对数据或模型分布假设极少的情况下，提供对边际覆盖的强理论保证？
• RQ3 在不同风险水平下，各种逐点预测方法在覆盖准确性、预测集合大小和鲁棒性方面的表现如何比较？
• RQ4 校准集大小和模型复杂度对不确定性估计的可靠性与效率有何影响？
• RQ5 如何将逐点预测方法扩展至新的机器学习场景，如时间序列、图像分割和目标检测？

主要发现

• MAPIE 在所有测试的风险水平（α）下，对回归和分类任务均实现了目标边际覆盖，即使模型输出分数并非校准后的概率。
• 在 MapieClassifier 中，'score' 方法在所有 α 值下均产生最小的平均预测集合大小，但可能在不确定情况下导致空集合。
• ‘cumulated_score’ 方法可确保至少包含一个标签，但在低 α 值下可能导致边际覆盖过度估计。
• ‘random_cumulated_score’ 方法可保持覆盖接近目标水平，但因随机包含最后一个标签而引入不稳定性，可能造成空集合。
• MapieQuantileRegressor 中实现的 Conformalized Quantile Regression 可实现自适应的预测区间宽度，能响应局部异方差噪声。
• MAPIE 与 scikit-learn 估计器完全兼容，并可通过自定义包装器支持非 scikit-learn 模型（如深度学习模型），从而实现广泛适用性。