[论文解读] Eigenvalue Corrected Noisy Natural Gradient

Juhan Bae, Guodong Zhang+1 more|arXiv (Cornell University)|Nov 30, 2018

Gaussian Processes and Bayesian Inference参考文献 21被引用 11

一句话总结

该论文提出了一种噪声 EK-FAC 方法，即一种用于变分贝叶斯神经网络的特征值校正矩阵变量子高斯后验，通过在 K-FAC 特征基中计算对角方差，提升了不确定性估计。通过使用克罗内克分解的特征基对对角重缩放因子进行校正，该方法在回归和分类任务中实现了比噪声 K-FAC 更高的 ELBO 和测试准确率，且无额外计算开销。

ABSTRACT

Variational Bayesian neural networks combine the flexibility of deep learning with Bayesian uncertainty estimation. However, inference procedures for flexible variational posteriors are computationally expensive. A recently proposed method, noisy natural gradient, is a surprisingly simple method to fit expressive posteriors by adding weight noise to regular natural gradient updates. Noisy K-FAC is an instance of noisy natural gradient that fits a matrix-variate Gaussian posterior with minor changes to ordinary K-FAC. Nevertheless, a matrix-variate Gaussian posterior does not capture an accurate diagonal variance. In this work, we extend on noisy K-FAC to obtain a more flexible posterior distribution called eigenvalue corrected matrix-variate Gaussian. The proposed method computes the full diagonal re-scaling factor in Kronecker-factored eigenbasis. Empirically, our approach consistently outperforms existing algorithms (e.g., noisy K-FAC) on regression and classification tasks.

研究动机与目标

• 为解决变分贝叶斯神经网络中矩阵变量子高斯后验的局限性，其无法准确捕捉对角方差。
• 在标准噪声 K-FAC 的基础上，提升后验分布的灵活性和表达能力。
• 开发一种可扩展的方法，在保持 K-FAC 效率的同时，通过特征值校正提升不确定性估计。
• 通过在 K-FAC 特征基中而非参数空间中重新表达重缩放因子，实现对角方差的准确估计。

提出的方法

• 该方法通过在 K-FAC 近似中的克罗内克分解特征基中计算对角重缩放因子，扩展了噪声 K-FAC。
• 利用特征基中梯度向量的二阶矩，计算更准确的对角方差，从而校正标准矩阵变量子高斯假设。
• 每隔 50 次迭代周期性地更新特征基，以保持与当前曲率结构的一致性。
• 通过摊销化特征基更新以降低计算成本，设定 T_eig = 5 用于特征基更新，T_scale = 10 用于重缩放更新。
• 通过将 K-FAC 扩展到卷积层的克罗内克因子，该方法适用于全连接网络和卷积网络。
• 通过重用现有的 K-FAC 基础设施并仅修改对角方差计算方式，保持与噪声 K-FAC 相同的计算复杂度。

实验结果

研究问题

• RQ1 在 K-FAC 特征基中校正对角方差，能否提升贝叶斯神经网络中矩阵变量子高斯后验的表达能力？
• RQ2 经过特征值校正的对角方差是否能带来相较于标准噪声 K-FAC 更优的不确定性估计与泛化性能？
• RQ3 所提出的方法能否在提升后验灵活性的同时，保持计算效率，适用于回归与分类任务？
• RQ4 该方法在不同数据增强和批量归一化设置下的表现如何？

主要发现

• 在所有回归数据集上，噪声 EK-FAC 的测试对数似然均高于噪声 K-FAC，对数似然提升范围为 0.02 至 0.25。
• 在 CIFAR10 数据集上，噪声 EK-FAC 在无数据增强时达到 87.07% 的准确率，在同时使用数据增强与批量归一化时达到 92.22%，比噪声 K-FAC 提升 1.55 个百分点。
• 训练过程中，该方法始终实现高于噪声 K-FAC 的 ELBO，表明其变分近似质量更优。
• 特征值校正使对角方差估计更加稳定和准确，尤其在小批量设置下，当梯度二阶矩不稳定时效果更显著。
• 摊销化特征基与重缩放更新不会显著降低优化性能，同时保持了计算效率。
• 该方法能有效扩展至更深的网络（包括修改后的 VGG16），与噪声 K-FAC 相比无明显计算开销增加。