[论文解读] Learning to Predict Trustworthiness with Steep Slope Loss

Yan Luo, Yongkang Wong+2 more|arXiv (Cornell University)|Sep 30, 2021

Adversarial Robustness in Machine Learning参考文献 39被引用 4

一句话总结

本文提出了一种新颖的陡坡损失函数，以提升大规模视觉模型（如ViT和ResNet）在ImageNet上的可信度预测器的泛化能力。通过使用相反的滑动曲线来分离正确与错误预测的特征，该方法在真正例率（TPR）与真负例率（TNR）之间实现了更优的权衡，显著优于交叉熵、焦点损失和真实类别概率损失，在识别不可信预测方面表现更优。

ABSTRACT

Understanding the trustworthiness of a prediction yielded by a classifier is critical for the safe and effective use of AI models. Prior efforts have been proven to be reliable on small-scale datasets. In this work, we study the problem of predicting trustworthiness on real-world large-scale datasets, where the task is more challenging due to high-dimensional features, diverse visual concepts, and large-scale samples. In such a setting, we observe that the trustworthiness predictors trained with prior-art loss functions, i.e., the cross entropy loss, focal loss, and true class probability confidence loss, are prone to view both correct predictions and incorrect predictions to be trustworthy. The reasons are two-fold. Firstly, correct predictions are generally dominant over incorrect predictions. Secondly, due to the data complexity, it is challenging to differentiate the incorrect predictions from the correct ones on real-world large-scale datasets. To improve the generalizability of trustworthiness predictors, we propose a novel steep slope loss to separate the features w.r.t. correct predictions from the ones w.r.t. incorrect predictions by two slide-like curves that oppose each other. The proposed loss is evaluated with two representative deep learning models, i.e., Vision Transformer and ResNet, as trustworthiness predictors. We conduct comprehensive experiments and analyses on ImageNet, which show that the proposed loss effectively improves the generalizability of trustworthiness predictors. The code and pre-trained trustworthiness predictors for reproducibility are available at https://github.com/luoyan407/predict_trustworthiness.

研究动机与目标

• 为解决在真实世界大规模数据集（如ImageNet）中预测可信度的挑战，现有损失函数过度拟合于正确预测的问题。
• 阐明标准损失函数（交叉熵、焦点损失、TCP置信度）为何在高维复杂数据中无法将错误预测识别为不可信。
• 开发一种新型损失函数，以增强正确与错误预测特征之间的可分性，提升可信度预测器的泛化能力。
• 实现真正例率（TPR）与真负例率（TNR）之间的灵活权衡，这对安全关键型应用至关重要。

提出的方法

• 提出一种陡坡损失，包含两条相反的滑动曲线，用于建模可信与不可信预测之间的决策边界。
• 损失函数使用可学习参数 α⁺ 和 α⁻ 控制曲线的斜率与高度，实现对正确与错误预测特征的灵活分离。
• 损失应用于线性层的输出（z = wᵀxₒᵤₜ + b），实验对比了归一化（z = (wᵀxₒᵤₜ + b)/||w||）与未归一化版本。
• 采用ViT与ResNet主干网络作为可信度预测器，在ImageNet上评估该方法，训练与推理均使用所提出的损失。
• 该损失旨在将正确预测的特征推向高置信度，错误预测的特征推向低置信度，从而改善特征分布的可分性。
• 通过超参数搜索为每种主干网络优化 α⁺ 与 α⁻，以实现最佳的TPR-TNR平衡。

实验结果

研究问题

• RQ1 为何标准损失函数在ImageNet等大规模数据集上无法将错误预测识别为不可信？
• RQ2 当正确预测占主导且数据复杂性掩盖了区分时，如何提升可信度预测器的泛化能力？
• RQ3 能否通过显式分离正确与错误预测特征分布的损失函数，实现优于标准分类损失的性能？
• RQ4 陡坡损失的何种超参数配置可在真实世界数据集上实现TPR与TNR的最佳权衡？
• RQ5 对决策分数 z 的归一化如何影响可信度预测的性能与分布？

主要发现

• 陡坡损失在TPR与TNR之间实现了优于交叉熵、焦点损失与TCP置信度损失的平衡，ViT模型在 α⁻ = 3 与 α⁺ = 1 时达到最优性能。
• 在ResNet上，最优超参数为 α⁺ = 2 与 α⁻ = 5，表明模型特定的调优有效。
• 所提损失优于类别平衡损失，表明可信度预测具有与标准分类不同的数据不平衡特性。
• 使用归一化的 z（z = (wᵀxₒᵤₜ + b)/||w||）相比未归一化的 z，能获得更分散的分布，且 TNR/TPR 分离效果更优。
• 该方法在分布内与分布外图像上均保持强性能，表明其具备稳健的泛化能力。
• 该损失支持TPR与TNR之间的灵活权衡，显著降低医疗与安全应用中关键的误报率。