[论文解读] Confidence estimation of classification based on the distribution of the neural network output layer

Abdel Aziz Taha, Leonhard Hennig+1 more|arXiv (Cornell University)|Oct 14, 2022

Neural Networks and Applications被引用 5

一句话总结

本文通过分析输出层logits的分布，提出了一种无需模型微调或重新训练即可估计神经网络分类预测置信度的方法。该方法引入了两种置信度估计器——KRT与WDF，其中WDF在噪声较大、真实世界的数据（如网络爬取的知识抽取）上显著提升了精确率，代价是召回率略有下降。

ABSTRACT

One of the most common problems preventing the application of prediction models in the real world is lack of generalization: The accuracy of models, measured in the benchmark does repeat itself on future data, e.g. in the settings of real business. There is relatively little methods exist that estimate the confidence of prediction models. In this paper, we propose novel methods that, given a neural network classification model, estimate uncertainty of particular predictions generated by this model. Furthermore, we propose a method that, given a model and a confidence level, calculates a threshold that separates prediction generated by this model into two subsets, one of them meets the given confidence level. In contrast to other methods, the proposed methods do not require any changes on existing neural networks, because they simply build on the output logit layer of a common neural network. In particular, the methods infer the confidence of a particular prediction based on the distribution of the logit values corresponding to this prediction. The proposed methods constitute a tool that is recommended for filtering predictions in the process of knowledge extraction, e.g. based on web scrapping, where predictions subsets are identified that maximize the precision on cost of the recall, which is less important due to the availability of data. The method has been tested on different tasks including relation extraction, named entity recognition and image classification to show the significant increase of accuracy achieved.

研究动机与目标

• 解决神经网络预测中缺乏可靠置信度估计的问题，尤其是在泛化能力失效的真实世界应用中。
• 开发无需修改现有神经网络或重新训练即可估计预测置信度的方法。
• 通过过滤预测结果，使知识抽取流水线在数据丰富但噪声大且异构的条件下实现最大精确率。
• 提供一种阈值机制，确保过滤后的预测子集达到指定置信度水平（如90%、95%、99%）。
• 在多种任务中验证方法的适用性，包括自然语言处理（关系抽取、命名实体识别）和计算机视觉（图像分类）

提出的方法

• 利用训练好的神经网络输出层中logits值的分布来估计预测置信度。
• 提出两种置信度估计函数：KRT（基于logits的峰度与偏度）和WDF（基于logits的加权分布）。
• 根据模型原始准确率及置信度估计器的输出，计算达到指定置信度水平的置信阈值。
• 应用该阈值将预测结果分为两组：高置信度（保留使用）与低置信度（丢弃）。
• 利用该阈值确保过滤后的子集达到目标置信度水平（如95%准确率），无论原始模型性能如何。
• 在多个任务中验证该方法：关系抽取（TACRED、SemEval2010）、命名实体识别，以及图像分类（VGG16在猫与狗分类任务上）

实验结果

研究问题

• RQ1 在不修改模型的前提下，输出层logits的分布能否可靠地估计神经网络预测的置信度？
• RQ2 在低准确率、噪声较大的环境中，所提出的置信度估计器（KRT与WDF）在过滤预测时，其提升精确率的效果如何？
• RQ3 能否计算出一个阈值，确保过滤后的预测子集达到指定置信度水平（如95%）？
• RQ4 该方法是否能在不同任务中通用，包括自然语言处理与计算机视觉？
• RQ5 在不同模型准确率与置信度水平下，高置信度预测的比例（即利用比率）如何变化？

主要发现

• 在所有测试的置信度水平（90%、95%、99%）下，WDF置信度估计器在准确率与利用比率方面均优于KRT。
• 增强准确率（E.ACCU）显著超过原始模型准确率，尤其在模型本身准确率较低时，体现出显著的精确率提升。
• 利用比率在大多数情况下保持合理，仅在极端情况（如模型准确率极低但目标置信度极高）下急剧下降。
• 该方法通过过滤低置信度预测，成功提升了知识抽取任务中的精确率，即使原始模型准确率较低亦有效。
• 该方法在多种领域中表现有效，包括基于文本的关系抽取与图像分类任务，证实了其通用性。
• 阈值机制成功使过滤后的预测子集与目标置信度水平对齐，无论原始模型性能如何。