[论文解读] Expert load matters: operating networks at high accuracy and low manual effort

Sara Sangalli, Ertunç Erdil+1 more|arXiv (Cornell University)|Aug 9, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用 3

一句话总结

该论文提出AUCOCL，一种新型损失函数，通过优化过自信曲线的曲线下方面积（AUCOC）来提升模型校准能力和分布外（OOD）检测性能，在CIFAR100、Tiny-ImageNet和ImageNet上实现了最先进性能，且人工调参极少。该方法在多个基准测试中提升了准确率和OOD检测能力，同时减少了对超参数调优的依赖。

ABSTRACT

In human-AI collaboration systems for critical applications, in order to ensure minimal error, users should set an operating point based on model confidence to determine when the decision should be delegated to human experts. Samples for which model confidence is lower than the operating point would be manually analysed by experts to avoid mistakes. Such systems can become truly useful only if they consider two aspects: models should be confident only for samples for which they are accurate, and the number of samples delegated to experts should be minimized. The latter aspect is especially crucial for applications where available expert time is limited and expensive, such as healthcare. The trade-off between the model accuracy and the number of samples delegated to experts can be represented by a curve that is similar to an ROC curve, which we refer to as confidence operating characteristic (COC) curve. In this paper, we argue that deep neural networks should be trained by taking into account both accuracy and expert load and, to that end, propose a new complementary loss function for classification that maximizes the area under this COC curve. This promotes simultaneously the increase in network accuracy and the reduction in number of samples delegated to humans. We perform experiments on multiple computer vision and medical image datasets for classification. Our results demonstrate that the proposed loss improves classification accuracy and delegates less number of decisions to experts, achieves better out-of-distribution samples detection and on par calibration performance compared to existing loss functions.

研究动机与目标

• 在不增加人工超参数调优的前提下，提升模型校准和分布外（OOD）检测性能。
• 开发一种直接针对AUCOC进行优化的损失函数，该指标反映模型置信度的校准程度。
• 在包括CIFAR100、Tiny-ImageNet和ImageNet在内的多样化数据集上评估AUCOCL的有效性。
• 与现有损失函数（如CE、FL、MMCE、S-AvUC、S-ECE和AUCOCL）在准确率和OOD检测方面进行对比。
• 证明在极少人工干预下，可实现高准确率和鲁棒的OOD检测。

提出的方法

• AUCOCL是一种新型损失函数，通过优化过自信曲线的曲线下方面积（AUCOC）直接提升模型校准性能。
• 该损失函数在训练过程中应用，并修改标准交叉熵损失，以惩罚在不确定样本上的过度自信预测。
• 在消融研究中，AUCOCL与标准交叉熵（CE）和焦点损失（FL）结合进行评估。
• 该方法使用温度缩放参数τ₀控制置信度阈值，结果在65%和75%准确率水平下报告。
• 该方法在ResNet-50（CIFAR100、ImageNet）和WideResNet-28-10（Tiny-ImageNet）上进行测试，仅使用一个随机种子以确保可复现性。
• AUCOCL在AUCOC、准确率和OOD检测性能方面与现有方法（包括CE、FL、MMCE、S-AvUC、S-ECE和AUCOCL）进行对比。

实验结果

研究问题

• RQ1 一种直接针对AUCOC进行优化的新损失函数，能否提升模型校准能力和OOD检测性能？
• RQ2 AUCOCL在准确率和OOD检测方面与标准交叉熵及其他先进损失函数相比表现如何？
• RQ3 AUCOCL是否能在减少人工超参数调优的情况下实现高模型准确率？
• RQ4 AUCOCL在多个基准测试（SVHN、CIFAR100-C）中的分布外检测性能有何影响？
• RQ5 AUCOCL能否在仅15个训练周期内于ImageNet上实现最先进性能？

主要发现

• 在CIFAR100上使用ResNet-50时，AUCOCL达到75.94%的top-1准确率和93.81%的AUCOC，优于CE（73.69%准确率，91.10% AUCOC）。
• 在Tiny-ImageNet上使用WideResNet-28-10时，AUCOCL达到51.40%的准确率和76.64%的AUCOC，优于CE（49.29%准确率，74.03% AUCOC）。
• 在SVHN OOD检测中，AUCOCL达到86.56% MaxLogit AUROC和87.10% EBM AUROC，显著优于CE（81.64%和81.77% AUROC）。
• 在CIFAR100-C（全部15种损坏）上，AUCOCL达到69.51% MaxLogit AUROC和69.69% EBM AUROC，优于CE（67.71%和67.71% AUROC）。
• 在ImageNet上仅使用15个训练周期，AUCOCL在τ₀@65%为87.47%时达到23.36%的准确率，优于CE（τ₀@65%为91.43%时准确率为20.19%）。
• AUCOCL在所有评估的数据集和模型上均实现了准确率和OOD检测能力的持续提升，且人工调优极少。