[论文解读] A Geometric Perspective towards Neural Calibration via Sensitivity Decomposition

Junjiao Tian, Dylan Yung+2 more|arXiv (Cornell University)|Oct 27, 2021

Image Processing Techniques and Applications参考文献 27被引用 7

一句话总结

本文提出几何敏感性分解（GSD），一种几何方法，通过将特征嵌入分解为与实例相关和与实例无关的分量，以改善分布偏移下的神经网络校准性能。通过训练一种改进的softmax-线性模型，将敏感的输入变化与损失最小化的不变量分离，该方法实现了最先进性能，在损坏的CIFAR100上将期望校准误差降低了30.8%。

ABSTRACT

It is well known that vision classification models suffer from poor calibration in the face of data distribution shifts. In this paper, we take a geometric approach to this problem. We propose Geometric Sensitivity Decomposition (GSD) which decomposes the norm of a sample feature embedding and the angular similarity to a target classifier into an instance-dependent and an instance-independent component. The instance-dependent component captures the sensitive information about changes in the input while the instance-independent component represents the insensitive information serving solely to minimize the loss on the training dataset. Inspired by the decomposition, we analytically derive a simple extension to current softmax-linear models, which learns to disentangle the two components during training. On several common vision models, the disentangled model outperforms other calibration methods on standard calibration metrics in the face of out-of-distribution (OOD) data and corruption with significantly less complexity. Specifically, we surpass the current state of the art by 30.8% relative improvement on corrupted CIFAR100 in Expected Calibration Error. Code available at https://github.com/GT-RIPL/Geometric-Sensitivity-Decomposition.git.

研究动机与目标

• 解决视觉模型在面对分布外（OOD）数据和数据损坏时校准性能差的长期问题。
• 理解在分布偏移下特征嵌入与分类器交互的几何结构。
• 将特征范数和角度相似性分解为与实例相关和与实例无关的分量，以隔离对输入变化的敏感性。
• 开发一种显式分离敏感与不敏感分量的训练方法，以提升泛化能力和校准性能。
• 与现有方法相比，在最小架构和计算开销下实现更优的校准性能。

提出的方法

• 提出几何敏感性分解（GSD），将样本特征嵌入的范数及其与分类器的角相似性分解为两个分量：一个对输入变化敏感，一个对之不变。
• 利用几何原理制定分解，将特征向量分离为方向（与实例无关）和大小（与实例相关）分量。
• 设计一种改进的softmax-线性模型，通过新的损失目标在训练过程中联合学习解耦分量。
• 利用与实例无关的分量最小化训练损失，而与实例相关的分量捕捉输入特定的变化。
• 通过正则化目标端到端训练模型，以促进特征表示中敏感性与不变性的解耦。
• 将该方法应用于标准视觉模型，无需架构重构，同时保持推理效率。

实验结果

研究问题

• RQ1 如何利用特征嵌入与分类器输出的几何结构来提升分布偏移下的模型校准性能？
• RQ2 在神经特征表示中，对输入变化的敏感性在多大程度上可与对训练数据分布的不变性相分离？
• RQ3 解耦表示学习方法是否能在极低复杂度下实现对分布外和损坏数据更好的校准性能？
• RQ4 在标准基准上，该方法与现有校准技术相比，在性能和效率方面表现如何？
• RQ5 分离与实例相关和与实例无关的分量对期望校准误差及其他校准指标有何影响？

主要发现

• 与先前最先进方法相比，该方法在损坏的CIFAR100上实现了30.8%的期望校准误差相对降低。
• 在分布外和损坏数据设置下，解耦模型在多个标准指标上均优于现有校准方法。
• 该方法引入的额外复杂度极低，保持了高效性，同时显著提升了校准性能。
• 几何分解成功将输入敏感变化与损失最小化不变量分离，从而实现更鲁棒的预测。
• 该方法无需架构修改即可在不同视觉模型上良好泛化。
• 代码和实现已公开，支持可复现性，并推动几何校准领域的进一步研究。