[论文解读] Building fast Bayesian computing machines out of intentionally stochastic, digital parts

Vikash K. Mansinghka, Eric Jonas|arXiv (Cornell University)|Feb 20, 2014

Advanced Memory and Neural Computing参考文献 40被引用 12

一句话总结

本文提出一种新颖的架构，通过有意引入随机性、低精度的数字电路，利用大规模并行计算实现快速贝叶斯推断。通过将概率推断建模为通过随机数字门进行的马尔可夫链采样，作者在超过10,000个隐变量上实现了实时推断——相比通用微处理器，速度提升了1,000倍，同时功耗和位精度极低。

ABSTRACT

The brain interprets ambiguous sensory information faster and more reliably than modern computers, using neurons that are slower and less reliable than logic gates. But Bayesian inference, which underpins many computational models of perception and cognition, appears computationally challenging even given modern transistor speeds and energy budgets. The computational principles and structures needed to narrow this gap are unknown. Here we show how to build fast Bayesian computing machines using intentionally stochastic, digital parts, narrowing this efficiency gap by multiple orders of magnitude. We find that by connecting stochastic digital components according to simple mathematical rules, one can build massively parallel, low precision circuits that solve Bayesian inference problems and are compatible with the Poisson firing statistics of cortical neurons. We evaluate circuits for depth and motion perception, perceptual learning and causal reasoning, each performing inference over 10,000+ latent variables in real time - a 1,000x speed advantage over commodity microprocessors. These results suggest a new role for randomness in the engineering and reverse-engineering of intelligent computation.

研究动机与目标

• 弥合生物大脑与现代计算机在解决概率推断问题上的效率差距。
• 逆向解析大脑利用不可靠、缓慢的组件实现快速、可靠推断的能力。
• 开发一种新的计算范式，使随机性不再是缺陷，而是高效贝叶斯计算的核心设计原则。
• 利用大规模并行、低精度数字硬件实现实时复杂模型（如马尔可夫随机场、狄利克雷过程混合模型）的推断。

提出的方法

• 设计随机数字门，根据输入从条件概率分布中产生随机样本，而非确定性输出。
• 将这些门组合成同步时钟控制的电路，自然实现用于贝叶斯推断的马尔可夫链蒙特卡洛（MCMC）采样。
• 采用自定义的定点编码方案表示输入能量，确保在低比特精度（例如8位或更低）下仍保持准确性。
• 应用数学组合定律，从基本单元构建更大规模电路，实现行为的抽象与验证。
• 开发编译器，自动将以贝叶斯网络或因子图形式指定的因果或概率模型转换为硬件电路。
• 使用马尔可夫随机场和非参数混合模型，实现深度/运动感知、感知学习和因果推理的电路设计。

实验结果

研究问题

• RQ1 是否可以利用有意引入随机性的数字组件构建快速、低功耗的贝叶斯推断机器？
• RQ2 如何在低精度数字硬件上利用大规模并行性来处理概率模型？
• RQ3 低精度随机电路在贝叶斯推断任务中能在多大程度上保持准确性？
• RQ4 编译器能否自动从高级概率模型生成高效的硬件电路？
• RQ5 在真实推断任务中，随机数字电路的性能与软件实现相比如何？

主要发现

• 硬件原型可在实时状态下对超过10,000个隐变量执行贝叶斯推断，相比通用微处理器速度提升1,000倍。
• 即使在8位精度下，电路仍保持高精度，与全精度仿真相比，相对熵损失可忽略不计。
• 深度感知系统在能量-延迟积方面相比软件实现提升500倍，硬件每帧处理时间约为200ms。
• 运动感知系统展示了实时性能，硬件每帧完成推断时间约为200ms，相比软件性能提升超过500倍。
• 针对狄利克雷过程混合模型的随机数字电路在无监督条件下自动发现MNIST数字中的3–4个聚类，ROC AUC得分与最先进分类器相当。
• 随机电路的脉冲神经网络实现准确再现了底层马尔可夫链的后验分布，验证了设计的正确性。