[论文解读] Estimating Model Uncertainty of Neural Networks in Sparse Information Form

Jong‐Seok Lee, Matthias Humt+2 more|arXiv (Cornell University)|Jun 20, 2020

Sparse and Compressive Sensing Techniques参考文献 58被引用 12

一句话总结

该论文通过利用谱域中信息矩阵（逆协方差）的稀疏性，提出了一种用于深度神经网络模型不确定性的稀疏信息形式表示方法。结合低秩近似与一种新型稀疏化算法，该方法实现了可扩展的贝叶斯深度学习，支持解析采样，在多个基准测试中实现了最先进的不确定性估计性能与效率。

ABSTRACT

We present a sparse representation of model uncertainty for Deep Neural Networks (DNNs) where the parameter posterior is approximated with an inverse formulation of the Multivariate Normal Distribution (MND), also known as the information form. The key insight of our work is that the information matrix, i.e. the inverse of the covariance matrix tends to be sparse in its spectrum. Therefore, dimensionality reduction techniques such as low rank approximations (LRA) can be effectively exploited. To achieve this, we develop a novel sparsification algorithm and derive a cost-effective analytical sampler. As a result, we show that the information form can be scalably applied to represent model uncertainty in DNNs. Our exhaustive theoretical analysis and empirical evaluations on various benchmarks show the competitiveness of our approach over the current methods.

研究动机与目标

• 解决在贝叶斯神经网络中表示完整协方差矩阵带来的不可行计算成本问题。
• 利用信息矩阵（逆协方差）的谱稀疏性，实现高效的不确定性表示。
• 开发一种低秩近似方法，以在信息矩阵的特征基下保留Kronecker结构。
• 推导一种内存高效的后验解析采样器，用于信息形式表示。
• 在不确定性校准与分布外检测方面实现最先进性能。

提出的方法

• 将后验表示为信息形式下的多变量正态分布，通过信息向量与信息矩阵参数化，而非均值与协方差。
• 对Kronecker分解的信息矩阵应用低秩近似（LRA），通过特征分解保持其谱结构。
• 提出一种谱稀疏化算法，在低秩降维过程中保持Kronecker积结构。
• 推导出一种解析采样器，将空间复杂度从O(N³)降低至O(L³)，其中L为低秩维度。
• 采用拉普拉斯近似并引入改进的对角方差校正，以增强不确定性估计。
• 使用即插即用的代码库，便于在标准深度学习流水线中实际部署该方法。

实验结果

研究问题

• RQ1 DNN信息矩阵中的谱稀疏性是否可被利用以实现可扩展的贝叶斯深度学习？
• RQ2 信息矩阵的低秩近似是否能保留对高效计算至关重要的Kronecker结构？
• RQ3 所提出的的信息形式是否能实现比现有方法更准确且更高效的不确定性估计？
• RQ4 在校准与分布外检测方面，该方法的性能与基线方法相比如何？
• RQ5 该方法在采样与信息矩阵计算方面的计算开销如何？

主要发现

• DNN中的信息矩阵表现出显著的谱稀疏性，支持有效的低秩近似。
• 该方法在多个基准测试（包括ImageNet）中均实现了最先进的不确定性校准与分布外检测性能。
• 由于高效的低秩运算，INF方法的采样速度优于KFAC与EFB，ResNet架构上INF采样时间仅为4.74ms。
• 信息矩阵计算是实用的，在ImageNet上所有方法均耗时不足一天，INF与EFB对KFAC的开销可忽略不计。
• 在DenseNet架构上，由于存在大量小层，低秩近似的收益降低，尽管内存使用更低，但采样速度仍慢于KFAC。
• 与确定性网络相比，该方法显著降低了校准误差，并在不确定性估计方面优于SWAG与SWA。