[论文解读] Mean Field Bayes Backpropagation: scalable training of multilayer neural networks with binary weights

Daniel Soudry, Ron Meir|arXiv (Cornell University)|Oct 7, 2013

Advanced Neural Network Applications参考文献 18被引用 4

一句话总结

本文提出均场贝叶斯反向传播（MFB-BackProp），一种用于训练具有二值突触权重的多层神经网络的可扩展贝叶斯学习算法。通过结合均场近似与大输入规模假设，该方法在MNIST数据集上的性能可与实值网络相媲美，同时实现高效的硬件部署，且计算开销极低。

ABSTRACT

Significant success has been reported recently using deep neural networks for classification. Such large networks can be computationally intensive, even after training is over. Implementing these trained networks in hardware chips with a limited precision of synaptic weights may improve their speed and energy efficiency by several orders of magnitude, thus enabling their integration into small and low-power electronic devices. With this motivation, we develop a computationally efficient learning algorithm for multilayer neural networks with binary weights, assuming all the hidden neurons have a fan-out of one. This algorithm, derived within a Bayesian probabilistic online setting, is shown to work well for both synthetic and real-world problems, performing comparably to algorithms with real-valued weights, while retaining computational tractability.

研究动机与目标

• 开发一种适用于具有二值突触权重的多层神经网络的可扩展贝叶斯学习算法。
• 克服在大型二值权重网络中精确贝叶斯推断的计算不可行性。
• 通过二值权重约束实现在不牺牲分类准确率的前提下，实现训练后网络的高效硬件实现。
• 将此前仅限于单层网络的近似贝叶斯方法推广至多层网络架构。
• 证明通过无超参的在线学习算法，二值权重网络可实现与实值网络相当的性能。

提出的方法

• 在因子化后验近似（均场）下，推导出一种在线贝叶斯权重更新规则，以确保计算可行性。
• 应用大输入规模假设，将神经元输入近似为高斯分布，从而实现后验更新的解析计算。
• 采用饱和激活函数（tanh），以保持振幅不变性并稳定学习动态。
• 采用基于贝叶斯原理推导出的无超参学习规则，仅初始条件作为唯一超参数。
• 将算法适配至一种收敛网络结构，其中所有隐藏神经元的输出扇出为1，从而简化后验更新结构。
• 在保持严谨贝叶斯框架的同时，借鉴标准反向传播的类比，但在权重更新动态和归一化方式上存在差异。

实验结果

研究问题

• RQ1 能否为具有二值权重的多层神经网络开发一种可扩展的全贝叶斯学习算法？
• RQ2 在假设被违反的情况下，均场近似与大输入规模假设的结合是否仍能在二值权重网络中实现有效学习？
• RQ3 通过该方法训练的二值权重网络是否可在标准基准上实现与实值网络相当的分类性能？
• RQ4 所提算法是否计算高效，且适合在精度要求极低的硬件上部署？
• RQ5 贝叶斯框架能否从单层网络扩展至具有二值权重的深层架构？

主要发现

• MFB-BackProp算法在MNIST数据集上达到的测试错误率与同规模实值多层网络相当，展现出强大的泛化性能。
• 对于全连接单层网络（785×10），二值权重版本实现了29%的测试错误率，显著优于剪裁反向传播基线，表明当使用该方法训练时，二值权重不会固有地降低性能。
• 该算法在小输入规模的合成教师-学生场景中表现良好，表明其对大输入规模假设违反具有鲁棒性。
• 该方法的计算复杂度与标准反向传播一致，呈权重数量的线性关系，且除初始先验外完全无超参。
• 该算法是首个避免使用蒙特卡洛采样的可扩展贝叶斯训练方法，适用于大规模应用。
• 推导出的算法与已知的单层二值网络在线学习规则高度相似，表明其一致性，并具备向更深架构扩展的潜力。