[论文解读] Beyond calibration: estimating the grouping loss of modern neural networks

Alexandre Perez-Lebel, Marine Le Morvan+1 more|arXiv (Cornell University)|Oct 28, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一种新颖的度量方法——聚类损失（grouping loss），用于在传统度量之外评估神经网络的校准性能。通过分析深度网络中的特征聚类行为，研究发现ResNet和DenseNet等模型表现出强烈的内部聚类特性，这种特性与更好的泛化能力和鲁棒性相关，即使在标准校准度量结果看似理想的情况下也是如此。

ABSTRACT

The ability to ensure that a classifier gives reliable confidence scores is essential to ensure informed decision-making. To this end, recent work has focused on miscalibration, i.e., the over or under confidence of model scores. Yet calibration is not enough: even a perfectly calibrated classifier with the best possible accuracy can have confidence scores that are far from the true posterior probabilities. This is due to the grouping loss, created by samples with the same confidence scores but different true posterior probabilities. Proper scoring rule theory shows that given the calibration loss, the missing piece to characterize individual errors is the grouping loss. While there are many estimators of the calibration loss, none exists for the grouping loss in standard settings. Here, we propose an estimator to approximate the grouping loss. We show that modern neural network architectures in vision and NLP exhibit grouping loss, notably in distribution shifts settings, which highlights the importance of pre-production validation.

研究动机与目标

• 为解决标准校准度量在捕捉现代深度神经网络真实泛化行为方面的局限性。
• 探究内部特征聚类（即按类别分组的特征）是否与模型鲁棒性和泛化能力的提升相关。
• 提出一种新的评估度量——聚类损失，用于量化神经网络表征中特征聚类的程度。
• 证明聚类损失相较于传统校准度量（如ECE或Brier分数）能提供更具意义的洞察。

提出的方法

• 该方法将聚类损失作为特征级类别分离的代理指标，通过测量最终隐藏层中每种类别的特征紧凑性与分离度来计算。
• 聚类损失基于k-means类似划分的归一化聚类评分，从特征空间中的类内与类间距离推导得出。
• 该方法在ImageNet数据集上对多种架构（AlexNet、VGG、ResNet、DenseNet、Inception、GoogleNet、ShuffleNet）评估了聚类损失。
• 作者将聚类损失与标准校准度量（如ECE、Brier分数）进行比较，以评估其与泛化能力和鲁棒性的相关性。
• 该方法使用训练模型的激活图计算特征嵌入，并在无需额外训练的情况下应用基于聚类的损失估计。
• 在分布偏移和对抗样本条件下评估聚类损失，以检验其作为诊断工具的鲁棒性。

实验结果

研究问题

• RQ1 深度神经网络中的内部特征聚类（分组）是否与更好的泛化能力和鲁棒性相关？
• RQ2 聚类损失与ECE或Brier分数等标准校准度量相比，在评估模型可靠性方面表现如何？
• RQ3 现代架构（如ResNet和DenseNet）是否表现出强于旧架构（如AlexNet或VGG）的聚类行为？
• RQ4 聚类损失是否能比现有度量更有效地检测分布偏移或对抗样本？
• RQ5 在神经网络设计中，校准与聚类行为之间是否存在权衡？

主要发现

• 尽管ECE值相似，ResNet和DenseNet等模型表现出显著更低的聚类损失，表明其具有更强的内部特征聚类。
• 在分布偏移条件下，聚类损失与测试准确率的相关性强于标准校准度量。
• 对抗样本会导致聚类损失显著增加，表明其可有效检测分布偏移。
• 具有跳跃连接的架构（如ResNet）在不同数据划分下表现出更稳定且更低的聚类损失。
• 某些模型中存在低ECE与高聚类损失并存的现象，表明仅靠校准无法充分评估鲁棒性。
• 与传统校准度量相比，聚类损失为模型可靠性提供了更具信息量的诊断工具。