[论文解读] Reversible Jump MCMC Simulated Annealing for Neural Networks

Christophe Andrieu, Nando de Freitas+1 more|arXiv (Cornell University)|Jan 16, 2013

Bayesian Methods and Mixture Models参考文献 21被引用 41

一句话总结

该论文提出了一种用于径向基函数（RBF）网络的可逆跳跃马尔可夫链蒙特卡洛（MCMC）模拟退火算法，联合优化网络参数与基函数数量。通过在参数与模型维度的联合空间中执行全局搜索，该方法能高效收敛至后验众数，并在惩罚似然框架内恢复经典的模型选择准则，如AIC、BIC与MDL。

ABSTRACT

We propose a novel reversible jump Markov chain Monte Carlo (MCMC) simulated annealing algorithm to optimize radial basis function (RBF) networks. This algorithm enables us to maximize the joint posterior distribution of the network parameters and the number of basis functions. It performs a global search in the joint space of the parameters and number of parameters, thereby surmounting the problem of local minima. We also show that by calibrating a Bayesian model, we can obtain the classical AIC, BIC and MDL model selection criteria within a penalized likelihood framework. Finally, we show theoretically and empirically that the algorithm converges to the modes of the full posterior distribution in an efficient way.

研究动机与目标

• 为解决RBF网络训练中局部极小值的挑战，通过在参数与模型复杂度上实现全局优化。
• 开发一种贝叶斯框架，利用可逆跳跃MCMC实现对网络结构与参数的联合推断。
• 证明经典模型选择准则（AIC、BIC、MDL）可在惩罚似然框架下通过校准的贝叶斯模型推导得出。
• 以计算高效的方式确保收敛至全后验分布的众数。

提出的方法

• 该算法使用可逆跳跃MCMC同时探索参数空间与模型维度空间，支持不同基函数数量的模型之间的转移。
• 将模拟退火集成到MCMC框架中，以改善对后验分布全局众数的收敛性能。
• 该方法联合最大化网络权重与径向基函数数量的后验分布。
• 通过校准贝叶斯模型，使惩罚似然公式能导出AIC、BIC与MDL准则。
• 算法采用带有维度跳跃提议的梅特罗波利斯-黑斯廷斯核，以处理状态空间中的跨维移动。
• 理论上建立了对后验众数的收敛性，并通过基准问题的实证验证予以支持。

实验结果

研究问题

• RQ1 具有模拟退火的可逆跳跃MCMC算法能否有效优化RBF网络中的参数与基函数数量？
• RQ2 如何在贝叶斯惩罚似然框架内恢复AIC、BIC与MDL等经典模型选择准则？
• RQ3 所提出的方法是否比标准的局部优化技术更可靠地收敛至后验分布的全局众数？
• RQ4 模拟退火的集成在神经网络的跨维MCMC中在多大程度上改善了混合性与收敛性？

主要发现

• 所提出的算法在参数与模型维度的联合空间中成功实现了全局优化，避免了梯度方法中常见的局部极小值问题。
• 通过精心设计可逆跳跃与模拟退火组件，该方法在理论上与实证上均实现了对全后验分布众数的收敛。
• 通过校准贝叶斯模型，该方法在惩罚似然框架内恢复了经典的AIC、BIC与MDL模型选择准则。
• 实证结果表明，该算法能高效探索复杂的后验分布景观，在模型选择与参数估计方面优于标准优化技术。