[论文解读] Structured and Efficient Variational Deep Learning with Matrix Gaussian Posteriors

Christos Louizos, Max Welling|arXiv (Cornell University)|Mar 15, 2016

Gaussian Processes and Bayesian Inference参考文献 27被引用 95

一句话总结

该论文提出一种使用矩阵 variate Gaussian 后验分布的变分贝叶斯神经网络，以建模权重矩阵行与列之间的相关性，从而实现高效的不确定性估计并提升泛化性能。通过利用局部重参数化技巧和伪数据，该模型实现了类似高斯过程的行为，在回归和分类任务中优于完全因子化的后验分布和 dropout 方法，展现出更优的不确定性校准和更低的误差率。

ABSTRACT

We introduce a variational Bayesian neural network where the parameters are governed via a probability distribution on random matrices. Specifically, we employ a matrix variate Gaussian \cite{gupta1999matrix} parameter posterior distribution where we explicitly model the covariance among the input and output dimensions of each layer. Furthermore, with approximate covariance matrices we can achieve a more efficient way to represent those correlations that is also cheaper than fully factorized parameter posteriors. We further show that with the "local reprarametrization trick" \cite{kingma2015variational} on this posterior distribution we arrive at a Gaussian Process \cite{rasmussen2006gaussian} interpretation of the hidden units in each layer and we, similarly with \cite{gal2015dropout}, provide connections with deep Gaussian processes. We continue in taking advantage of this duality and incorporate "pseudo-data" \cite{snelson2005sparse} in our model, which in turn allows for more efficient sampling while maintaining the properties of the original model. The validity of the proposed approach is verified through extensive experiments.

研究动机与目标

• 为解决贝叶斯神经网络中完全因子化权重后验分布的局限性，后者无法捕捉参数间的相关性，导致不确定性估计性能不佳。
• 开发一种可扩展的变分推断方法，利用矩阵 variate Gaussian 分布对权重矩阵的输入与输出维度之间的联合相关性进行建模。
• 通过引入伪数据，提升模型灵活性与不确定性校准能力，同时借助局部重参数化技巧保持高斯过程的解释性。
• 在回归与分类基准上实证验证该方法，证明其在预测性能与不确定性量化方面优于现有方法。

提出的方法

• 使用矩阵 variate Gaussian 分布 p(W) = MN(M, U, V) 对权重矩阵的后验进行建模，其中 U 捕捉行（输出特征）之间的相关性，V 捕捉列（输入特征）之间的相关性。
• 对矩阵 variate Gaussian 后验应用局部重参数化技巧，实现高效的反向传播，并使每一层隐藏单元具有高斯过程的解释性。
• 为每一层引入伪数据对，以保持 GP 类似特性并提升后验灵活性，同时不增加模型容量。
• 采用变分推断方法，通过可计算的边际似然下界最小化近似后验与真实后验之间的 KL 散度。
• 利用 Kronecker 积结构 (V ⊗ U) 参数化 vec(W) 的完整协方差，相比全协方差矩阵显著减少了方差参数的数量。
• 采用混合方法，结合矩阵 variate 后验与变分 dropout，其中 dropout 率通过变分上界进行约束。

实验结果

研究问题

• RQ1 对权重矩阵的输入与输出特征之间的相关性进行建模，是否能改善贝叶斯神经网络中的不确定性估计？
• RQ2 与完全因子化后验相比，矩阵 variate Gaussian 后验是否能更高效、更准确地逼近真实后验？
• RQ3 通过局部重参数化技巧实现的高斯过程解释性，在多大程度上提升了模型灵活性与预测性能？
• RQ4 引入伪数据对模型的不确定性校准与泛化能力有何影响？
• RQ5 所提出的方法是否能在回归与分类任务中均优于当前最先进方法（如变分 dropout 与 PBP）？

主要发现

• 在相同的回归任务中，该模型在 RMSE 和预测对数似然方面显著优于 VI、PBP 和 dropout 不确定性估计，展现出更优的预测准确性和不确定性校准能力。
• 在排列不变的 MNIST 分类任务中，该模型在小网络架构下实现了低于最先进方法的错误率，表明其泛化能力更强。
• 结合伪数据的矩阵高斯后验保持了强大的 GP 类似特性，使模型即使在容量有限的情况下仍具备高灵活性，有效缓解了小网络中常见的性能下降问题。
• 完全因子化的高斯后验配合局部重参数化在小样本回归任务中表现欠佳，归因于严重欠拟合，凸显了结构化权重后验的重要性。
• 与 dropout 相比，矩阵高斯模型的预测分布能提供更现实的置信区间，后者在数据稀疏区域表现出过度自信。
• 与全协方差后验相比，该方法显著减少了方差参数数量，从而实现了更高效、更稳定的不确定性估计。