[论文解读] Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation

Zhiyun Lu, Eugene Ie+1 more|arXiv (Cornell University)|Jun 13, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用 5

一句话总结

该论文提出了一种单模型不确定性估计方法，通过使用平均场近似来近似高斯加权Softmax输出的积分，从而在不训练多个模型的情况下实现类似集成模型的性能。该方法利用模型权重的一阶和二阶矩，在不确定性量化和分布外检测任务中取得了具有竞争力的结果，优于温度缩放和Dropout等方法，同时避免了深度集成方法的计算开销。

ABSTRACT

Many methods have been proposed to quantify the predictive uncertainty associated with the outputs of deep neural networks. Among them, ensemble methods often lead to state-of-the-art results, though they require modifications to the training procedures and are computationally costly for both training and inference. In this paper, we propose a new single-model based approach. The main idea is inspired by the observation that we can "simulate" an ensemble of models by drawing from a Gaussian distribution, with a form similar to those from the asymptotic normality theory, infinitesimal Jackknife, Laplacian approximation to Bayesian neural networks, and trajectories in stochastic gradient descents. However, instead of using each model in the "ensemble" to predict and then aggregating their predictions, we integrate the Gaussian distribution and the softmax outputs of the neural networks. We use a mean-field approximation formula to compute this analytically intractable integral. The proposed approach has several appealing properties: it functions as an ensemble without requiring multiple models, and it enables closed-form approximate inference using only the first and second moments of the Gaussian. Empirically, the proposed approach performs competitively when compared to state-of-the-art methods, including deep ensembles, temperature scaling, dropout and Bayesian NNs, on standard uncertainty estimation tasks. It also outperforms many methods on out-of-distribution detection.

研究动机与目标

• 开发一种计算高效的替代方法，用于深度神经网络中的不确定性估计，以替代深度集成方法。
• 仅利用模型权重的一阶和二阶矩实现闭式近似推理，避免存储或评估多个模型的需要。
• 将所提方法与渐近正态性、微小重抽样法（infinitesimal jackknife）和拉普拉斯近似等已建立的统计框架相联系，为方法提供理论基础。
• 在不增加训练或推理成本的前提下，实现在不确定性量化和分布外检测任务中的最先进或具有竞争力的性能。

提出的方法

• 该方法将神经网络权重的不确定性建模为多变量正态分布，近似该分布下期望Softmax输出的积分。
• 采用平均场高斯-Softmax（mfGS）近似，解析计算高斯加权Softmax输出的不可解积分。
• 该近似仅使用权重分布的一阶和二阶矩（均值与协方差），从而实现闭式推理。
• 该方法通过从权重不确定性中学习自适应、数据相关的温度参数，推广了全局温度缩放。
• 正态分布的动机来源于渐近正态性、微小重抽样法、拉普拉斯近似以及训练轨迹采样，为方法提供了理论支撑。
• 通过使用解析近似而非蒙特卡洛采样，显著降低了计算成本，相较于标准集成或贝叶斯推理更具效率。

实验结果

研究问题

• RQ1 单个深度神经网络是否能无需训练多个网络，即近似多个模型的预测不确定性？
• RQ2 能否仅利用权重分布的一阶和二阶矩，对高斯加权Softmax输出的积分进行解析近似？
• RQ3 所提出的平均场高斯-Softmax近似是否在标准基准上优于现有的单模型不确定性估计方法？
• RQ4 与最先进方法相比，该方法在分布外检测任务中的泛化能力如何？
• RQ5 能否利用与重抽样法、拉普拉斯近似和渐近正态性之间的理论联系，在实践中改进不确定性估计？

主要发现

• 所提出的mfGS方法在标准不确定性估计基准上表现优异，性能与最先进方法（如深度集成和贝叶斯神经网络）相当或更优。
• 在不确定性校准和分布外检测任务中，该方法优于温度缩放、Dropout及其他单模型基线方法。
• 通过仅使用权重分布的一阶和二阶矩，该方法实现了无需蒙特卡洛采样或存储多个模型的闭式推理。
• 该方法计算高效，仅需标准模型训练的额外开销，无需额外训练或推理成本，与深度集成相比具有显著优势。
• 与微小重抽样法和拉普拉斯近似的理论联系，为方法的设计与性能提供了坚实的理论基础。
• 实证结果验证了假设：可通过闭式高斯分布有效模拟无限多个模型的集成，而无需显式训练多个模型。