[论文解读] Challenges in Bayesian inference via Markov chain Monte Carlo for neural networks

Theodore Papamarkou, Jacob Hinkle+2 more|arXiv (Cornell University)|Oct 15, 2019

Markov Chains and Monte Carlo Methods参考文献 10被引用 8

一句话总结

本文识别并分析了在神经网络的贝叶斯推断中应用马尔可夫链蒙特卡洛（MCMC）方法的核心挑战，特别是多层感知机（MLP）中的问题。文章通过群体MCMC和流形MCMC算法，揭示了参数不可识别性（源于权重对称性）、先验敏感性以及高计算成本等问题，展示了这些方法在后验协方差估计方面的局限性，并推动了可扩展的近似推断方法的发展。

ABSTRACT

Markov chain Monte Carlo (MCMC) methods and neural networks are instrumental in tackling inferential and prediction problems. However, Bayesian inference based on joint use of MCMC methods and of neural networks is limited. This paper reviews the main challenges posed by neural networks to MCMC developments, including lack of parameter identifiability due to weight symmetries, prior specification effects, and consequently high computational cost and convergence failure. Population and manifold MCMC algorithms are combined to demonstrate these challenges via multilayer perceptron (MLP) examples and to develop case studies for assessing the capacity of approximate inference methods to uncover the posterior covariance of neural network parameters. Some of these challenges, such as high computational cost arising from the application of neural networks to big data and parameter identifiability arising from weight symmetries, stimulate research towards more scalable approximate MCMC methods or towards MCMC methods in reduced parameter spaces.

研究动机与目标

• 调查神经网络为贝叶斯推断中的马尔可夫链蒙特卡洛（MCMC）方法带来的基本挑战。
• 研究由于权重对称性导致的参数不可识别性对MCMC收敛性和后验探索的影响。
• 评估先验设定对MCMC性能以及神经网络中后验不确定性量化的影响。
• 评估在深度学习设置中，特别是大规模数据场景下，MCMC的计算成本与可扩展性。
• 推动开发更可扩展的近似MCMC或低维参数空间MCMC方法。

提出的方法

• 采用群体MCMC以改善高维神经网络参数空间中的混合与收敛性。
• 结合流形MCMC以应对复杂的后验几何结构，提升采样效率。
• 将这些联合算法应用于多层感知机（MLP）模型作为案例研究。
• 利用所得样本评估神经网络参数的后验协方差结构。
• 在不同先验分布和数据规模下比较MCMC方法的性能。
• 分析在不同网络架构和数据集规模下，收敛行为与计算成本。

实验结果

研究问题

• RQ1 神经网络中的权重对称性在多大程度上损害MCMC采样与后验估计？
• RQ2 先验设定在多大程度上影响MCMC收敛性与神经网络中后验不确定性的量化？
• RQ3 在大规模数据集下，神经网络中MCMC推断的计算成本是多少？
• RQ4 群体MCMC与流形MCMC方法在探索神经网络参数后验分布方面的有效性如何？
• RQ5 近似推断方法是否能有效恢复神经网络中真实的后验协方差结构？

主要发现

• 神经网络中的权重对称性导致参数不可识别，使MCMC链在等价模态间探索，从而损害收敛性。
• 先验分布显著影响MCMC性能，不当或非信息性先验会加剧收敛问题并增加计算成本。
• 在大规模数据集下，神经网络中MCMC的计算成本仍然过高，限制了其实际应用。
• 群体MCMC与流形MCMC方法虽能改善混合与后验探索，但无法完全解决不可识别性与收敛性问题。
• 由于混合效果差和模态退化，高维神经网络设置下使用MCMC进行后验协方差估计不可靠。
• 研究结果强调了开发可扩展的近似MCMC或降维技术的必要性，以实现可行的贝叶斯深度学习。