[论文解读] Addressing Failure Prediction by Learning Model Confidence

Charles Corbière, Nicolas Thome+3 more|arXiv (Cornell University)|Oct 1, 2019

Adversarial Robustness in Machine Learning参考文献 42被引用 107

一句话总结

本文引入 True Class Probability (TCP) 作为分类与分割中的故障预测置信度标准，并提出 ConfidNet，一个在固定分类器之上训练的学习型置信度预测器，在多个数据集上优于 MCP 和贝叶斯/集成基线。

ABSTRACT

Assessing reliably the confidence of a deep neural network and predicting its failures is of primary importance for the practical deployment of these models. In this paper, we propose a new target criterion for model confidence, corresponding to the True Class Probability (TCP). We show how using the TCP is more suited than relying on the classic Maximum Class Probability (MCP). We provide in addition theoretical guarantees for TCP in the context of failure prediction. Since the true class is by essence unknown at test time, we propose to learn TCP criterion on the training set, introducing a specific learning scheme adapted to this context. Extensive experiments are conducted for validating the relevance of the proposed approach. We study various network architectures, small and large scale datasets for image classification and semantic segmentation. We show that our approach consistently outperforms several strong methods, from MCP to Bayesian uncertainty, as well as recent approaches specifically designed for failure prediction.

研究动机与目标

• 在实际应用中为深度网络的可靠失败预测提供动力。
• 提出 True Class Probability (TCP) 作为理论上有据可依的置信度标准。
• 在固定分类器之上构建的神经网络（ConfidNet）学习基于 TCP 的置信分数。
• 展示 TCP/ConfidNet 相较于 MCP、MCDropout 和 Trust Score 在多样数据集与体系结构上的经验提升。

提出的方法

• 将 TCP 定义为在给定输入和模型权重的前提下真实类别的概率，并推导正确/错误预测的理论保证。
• 引入 ConfidNet，这是一个对 c*(x,y*) = P(Y=y*|w,x) 使用 L2 损失回归的置信度网络，建立在固定分类器之上。
• 可选地使用归一化变体 TCP^r = P(Y=y*|w,x)/P(Y=ŷ|w,x) 并比较学习动力学。
• 采用两阶段训练方案：在分类器参数冻结的情况下训练 ConfidNet，然后可选地对共享编码器进行微调（带独立特征提取器用于置信估计）。
• 使用各种架构和数据集（MNIST、SVHN、CIFAR-10/100、CamVid）进行评估，指标包括 AUPR-Error、AUPR-Success、FPR@TPR95 和 AUROC。

实验结果

研究问题

• RQ1 TCP 能否提供比 MCP 更可靠的与失败相关的信号？
• RQ2 学习基于 TCP 的置信度预测器（ConfidNet）是否提升了图像分类和语义分割任务中的失败检测？
• RQ3 与 MCP、贝叶斯方法及距离基于分数（Trust Score）相比，TCP 及其归一化变体 TCP^r 在失败排名与校准方面有哪些差异？
• RQ4 学习方案的选择（训练 ConvNet 编码器、损失类型、数据分配）对 ConfidNet 性能有何影响？
• RQ5 在不同任务的数据集规模和模型复杂度下，基于 TCP 的方法是否具有鲁棒性？

主要发现

• 基于 TCP 的排序在正确和错误预测之间的可分离性优于 MCP，从而提升失败检测。
• 在 MNIST、SVHN、CIFAR-10/100 和 CamVid 上，ConfidNet 在 AUPR-Error 及相关指标上始终优于 MCP、MCDropout 和 Trust Score。
• 在训练 ConfidNet 之后对 ConvNet 编码器进行微调，可在基础 ConfidNet 的基础上进一步带来约 1–2 个百分点的增益。
• 在大多数数据集上，使用训练数据训练 ConfidNet 往往优于在验证数据上训练，某些数据集特性导致例外。
• 使用 TCP 进行学习（相较 BCE 或 TCP^r）在更大规模数据集上提供稳健提升；TCP^r 在某些大规模分割任务上也带来好处。
• ConfidNet 在较高覆盖率下表现出有利的选择性分类行为（风险-覆盖），便于更好地识别关键故障。