[论文解读] Learning Optimal Conformal Classifiers

David Stutz, Krishnamurthy+3 more|arXiv (Cornell University)|Oct 18, 2021

Machine Learning and Data Classification参考文献 33被引用 11

一句话总结

本文提出 Conformal Training (ConfTr)，一种可微、端到端的训练方法，通过在小批量数据上模拟校准和预测过程，将置信预测（conformal prediction）整合到模型训练中。ConfTr 降低了平均置信集大小（低效性），并实现了对类别条件低效性和置信集构成的细粒度控制，同时保持了边际覆盖保证。

ABSTRACT

Modern deep learning based classifiers show very high accuracy on test data but this does not provide sufficient guarantees for safe deployment, especially in high-stake AI applications such as medical diagnosis. Usually, predictions are obtained without a reliable uncertainty estimate or a formal guarantee. Conformal prediction (CP) addresses these issues by using the classifier's predictions, e.g., its probability estimates, to predict confidence sets containing the true class with a user-specified probability. However, using CP as a separate processing step after training prevents the underlying model from adapting to the prediction of confidence sets. Thus, this paper explores strategies to differentiate through CP during training with the goal of training model with the conformal wrapper end-to-end. In our approach, conformal training (ConfTr), we specifically "simulate" conformalization on mini-batches during training. Compared to standard training, ConfTr reduces the average confidence set size (inefficiency) of state-of-the-art CP methods applied after training. Moreover, it allows to "shape" the confidence sets predicted at test time, which is difficult for standard CP. On experiments with several datasets, we show ConfTr can influence how inefficiency is distributed across classes, or guide the composition of confidence sets in terms of the included classes, while retaining the guarantees offered by CP.

研究动机与目标

• 解决标准训练中缺乏对置信预测（CP）的模型适应问题，即模型仅针对准确率进行训练，而置信预测在事后应用，未针对效率进行优化。
• 克服事后置信预测的局限性，后者无法基于模型训练目标来调整置信集或降低低效性。
• 实现对定义在置信集上的任意损失函数的训练时优化，例如最小化平均大小或惩罚特定类别的包含。
• 开发置信预测校准和预测的可微、平滑近似，以支持通过置信预测包装器的反向传播。
• 提供一种训练流程，使模型能够学习生成在置信预测下产生更小、分布更优的置信集的预测，从而提升实际的不确定性估计。

提出的方法

• 提出 Conformal Training (ConfTr)，一种通过将每个小批量数据划分为校准和预测两部分来在小批量上模拟置信预测的方法。
• 使用校准（SmoothCal）和预测（SmoothPred）步骤的平滑、可微近似，以实现端到端训练。
• 通过使用可微损失函数在预测置信集上计算损失，将置信预测包装器集成到训练循环中。
• 优化一个复合损失，结合分类损失（Lclass），用于惩罚错误或不希望的类别包含，以及大小损失（Ω），用于最小化平均置信集大小。
• 在预测步骤中应用温度-softplus平滑，以实现通过置信预测中阈值操作的梯度流动。
• 使用可微分分位数估计方法（例如基于经验分布）以可微方式近似校准阈值 τ。

实验结果

研究问题

• RQ1 置信预测能否被整合到深度分类器的训练过程中，以降低置信集的低效性？
• RQ2 与置信预测结合的端到端训练能否实现对类别条件低效性和置信集构成的更好控制？
• RQ3 可微置信预测是否能使模型学习生成更具信息量的置信集，同时保持边际覆盖保证？
• RQ4 与标准训练后应用事后置信预测相比，ConfTr 在平均置信集大小和各类别覆盖分布方面表现如何？
• RQ5 该方法能否扩展到优化置信集上的任意目标，而不仅限于大小最小化？

主要发现

• 与标准训练后应用事后置信预测相比，ConfTr 在 MNIST 和 Fashion-MNIST 上显著降低了平均置信集大小（低效性）。
• 在 MNIST 和 Fashion-MNIST 上，ConfTr 降低了所有类别上的类别条件低效性，且低效性分布保持相似但整体下移。
• ConfTr 实现了对置信集构成的控制：当使用分类损失（Lclass）训练时，它减少了覆盖混淆，尤其在难以分类的类别上效果更明显。
• 在 CIFAR-10 上，ConfTr 并未显著降低平均低效性，表明该优势在模型校准更好、更简单的数据集上更为显著。
• ConfTr 涵盖了先前工作如 Bellotti (2021)，后者仅针对低效性进行优化而未包含校准步骤，通过将校准步骤整合到训练中，实现了更广泛的优化目标。
• 该方法保持了置信预测的边际覆盖保证，确保真实标签以至少 1−α 的概率被包含在预测的置信集中。