[论文解读] Distance-based Confidence Score for Neural Network Classifiers

Amit Mandelbaum, Daphna Weinshall|arXiv (Cornell University)|Sep 28, 2017

Adversarial Robustness in Machine Learning参考文献 3被引用 79

一句话总结

本文提出一种基于距离的置信度分数，该分数从神经网络嵌入中计算，用以量化预测置信度，并展示了它在分类、集成与新颖性检测方面相对于传统分数的优势，包含两种嵌入策略：距离基损失和对抗训练。

ABSTRACT

The reliable measurement of confidence in classifiers' predictions is very important for many applications and is, therefore, an important part of classifier design. Yet, although deep learning has received tremendous attention in recent years, not much progress has been made in quantifying the prediction confidence of neural network classifiers. Bayesian models offer a mathematically grounded framework to reason about model uncertainty, but usually come with prohibitive computational costs. In this paper we propose a simple, scalable method to achieve a reliable confidence score, based on the data embedding derived from the penultimate layer of the network. We investigate two ways to achieve desirable embeddings, by using either a distance-based loss or Adversarial Training. We then test the benefits of our method when used for classification error prediction, weighting an ensemble of classifiers, and novelty detection. In all tasks we show significant improvement over traditional, commonly used confidence scores.

研究动机与目标

• 在神经分类器中推动可靠的预测置信度，并解决现有代理分数的局限性。
• 提出一种基于距离的置信度分数，源自网络嵌入。
• 展示以嵌入为中心的训练（距离基损失或对抗训练）如何提升置信度质量。
• 在多数据集上对错误预测、集成和新颖性检测进行评估。
• 将性能与基于熵的以及基于 MC-Dropout 的置信度度量进行比较。

提出的方法

• 从经过训练的分类器定义嵌入 f(x)。
• 使用在训练集上对嵌入空间的最近邻（k 最近邻）来计算 D(x) 作为归一化的基于密度的分数。
• 选项 1：通过距离基损失 L_dist 来增强训练，以促进有利的嵌入结构（等式 2）。
• 选项 2：使用对抗训练以诱导有利于密度估计的嵌入（等式 3）。
• 讨论计算方面和扩展性，包括最近邻近似和内存方面的考虑。
• 探索利用距离网络与常规网络或对抗网络并用的集成加权与混合架构。

实验结果

研究问题

• RQ1 提出的基于距离的置信度分数在各数据集上相对于传统分数（margin、entropy）和最近方法（MC-Dropout、仅对抗训练）是否能提高预测的可靠性？
• RQ2 该分数能否提升集成性能并在新颖性检测中有效？
• RQ3 基于距离的训练和对抗训练如何影响嵌入质量及下游置信度性能？

主要发现

• 基于距离的置信度分数在 CIFAR-100、STL-10 和 SVHN 上对正确分类的 AUC 相较于 Margin、Entropy 和 MC-Dropout 基线有提升。
• 由距离分数组成权重的集成优于无该分数的集成，即使使用对抗训练时亦是如此。
• 结合距离分数的对抗训练产生强结果，且需要的超参数调优比仅使用距离基损失少。
• 使用 Distance 网络来为另一分类器提供信息的混合方法在 CIFAR-100 和 SVHN 上达到最好表现。
• 该方法在新颖性检测方面优于标准置信度度量，且对抗训练提供最优的基线新颖性表现，距离分数带来额外提升。