[论文解读] Activation-Space Uncertainty Quantification for Pretrained Networks

Richard Bergna, Stefan Depeweg+4 more|arXiv (Cornell University)|Feb 16, 2026

Gaussian Processes and Bayesian Inference被引用 0

一句话总结

GAPA 后验方法通过用高斯过程激活替代激活，获得激活空间的 epistemic 不确定性，同时保持主干预测，从而实现对预训练网络的一次前向不确定性传播。

ABSTRACT

Reliable uncertainty estimates are crucial for deploying pretrained models; yet, many strong methods for quantifying uncertainty require retraining, Monte Carlo sampling, or expensive second-order computations and may alter a frozen backbone's predictions. To address this, we introduce Gaussian Process Activations (GAPA), a post-hoc method that shifts Bayesian modeling from weights to activations. GAPA replaces standard nonlinearities with Gaussian-process activations whose posterior mean exactly matches the original activation, preserving the backbone's point predictions by construction while providing closed-form epistemic variances in activation space. To scale to modern architectures, we use a sparse variational inducing-point approximation over cached training activations, combined with local k-nearest-neighbor subset conditioning, enabling deterministic single-pass uncertainty propagation without sampling, backpropagation, or second-order information. Across regression, classification, image segmentation, and language modeling, GAPA matches or outperforms strong post-hoc baselines in calibration and out-of-distribution detection while remaining efficient at test time.

研究动机与目标

• 为预训练网络提供认识性不确定性，而无需重新训练或采样。
• 在保持主干点预测的同时增加激活空间不确定性。
• 为现代架构开发可扩展的离线激活缓存与局部诱导点条件化。
• 推导通过深度网络的确定性单次传播方差。
• 在回归、分类、分割和语言建模等任务上对 GAPA 进行经验验证。

提出的方法

• 用高斯过程激活替代确定性激活，其后验均值与原始激活相匹配。
• 在训练数据上进行前向传播以缓存预激活，并使用诱导点和局部最近邻条件化将 GP 激活条件化在此缓存上。
• 通过包含闭式解的方差传播规则在冻结网络中传播得到的激活空间方差。
• 为可扩展性维持对角线的（神经元级别的）激活协方差。
• 对非线性激活使用基于 delta-方法的矩传播，对堆叠层使用 Noise 输入 GP 校正。
• 超参数在后验从激活统计量中固定，无需重新训练或标签。

Figure 1 : Comparison of uncertainty quantification methods on a toy binary classification task. Left to right : MAP (deterministic backbone), MC Dropout, Last-Layer Laplace, and GAPA (ours). Background shading indicates predictive confidence (darker = more confident); orange/yellow points show the

实验结果

研究问题

• RQ1 激活空间不确定性是否可以在不重新训练或采样的情况下为预训练网络提供准确的认识性估计？
• RQ2 在测试时如何高效地对现代架构进行 GP 激活的条件化与传播？
• RQ3 与基线方法相比，基于 GAPA 的不确定性估计是否在回归、分类、分割、语言建模等任务上改善了校准性与异常检测？
• RQ4 诱导集规模和局部性（KNN）对性能和计算的影响是什么？
• RQ5 通过 GAPA 在深度网络中的方差传播对后验不确定性的近似程度如何？

主要发现

Model	Airline NLL	Airline CRPS	Airline CQM	Year NLL	Year CRPS	Year CQM	Taxi NLL	Taxi CRPS	Taxi CQM
MAP	5.121	18.695	0.148	3.673	5.023	0.134	3.755	3.755	0.211
LLA Diag	5.125	18.648	0.143	3.647	4.917	0.088	3.722	3.990	0.257
LLA KFAC	5.127	18.631	0.142	3.648	4.915	0.086	3.706	3.986	0.256
LLA*	5.127	18.631	0.141	3.648	4.915	0.086	3.726	3.985	0.256
LLA*KFAC	5.127	18.631	0.141	3.648	4.914	0.086	3.726	3.985	0.256
ELLA	5.388	21.671	0.413	4.020	6.049	0.424	3.885	3.680	0.219
VaLLA100	4.963	18.814	0.099	3.515	5.004	0.047	3.235	3.999	0.149
VaLLA200	4.965	18.788	0.098	3.485	4.970	0.041	3.232	3.979	0.142
Dropout	5.102	19.066	0.938	3.689	5.128	0.939	3.849	4.592	0.951
Ensemble	5.053	18.205	0.933	3.639	4.833	0.938	3.631	3.384	0.961
GAPA	4.946	18.068	0.103	3.470	4.663	0.014	3.112	4.035	0.104

• GAPA 通过匹配原始激活均值来实现平均值保持的不确定性，同时引入激活空间的认识性方差。
• 使用离线诱导点和局部 KNN 条件化的两阶段、可扩展推断，在测试时实现常数时间的每查询方差计算。
• 确定性方差传播通过深度结构实现，在校准性和 OOD 检测方面对多任务具有竞争力或优越性。
• GAPA 在回归基准 Airline、Year、Taxi 上达到最佳负对数似然（NLL）以及最佳或接近最佳的校准指标，超越了许多基线。
• 在使用 ResNet 主干的 MNIST/Fashion-MNIST 与 CIFAR-10 的分类任务中，GAPA 实现了强大的 OOD 检测，测试时比采样方法或完整 GP 方法更快，且通常接近 MAP 的运行时间。
• 在语言建模领域，使用 GAPA 对 Transformer 的前部进行建模，获得可用的不确定性指标且无需额外前向传播。

Figure 2 : GAPA overview. Top: GAPA leaves the network’s point predictions unchanged (mean-preserving activations) while propagating an additional epistemic variance signal to the output. Bottom left: deterministic $\tanh$ activation; orange points denote cached training activations. Bottom right: G