[论文解读] $MC^2RAM$: Markov Chain Monte Carlo Sampling in SRAM for Fast Bayesian Inference

Priyesh Shukla, Ahish Shylendra+2 more|arXiv (Cornell University)|Feb 28, 2020

Gaussian Processes and Bayesian Inference参考文献 14被引用 5

一句话总结

该论文提出MC²RAM，一种新型基于SRAM的架构，通过在SRAM阵列内集成马尔可夫链蒙特卡洛（MCMC）采样、随机数生成（RNG）以及模数/数模转换（ADC/DAC），加速贝叶斯推理。通过在低精度ADC/DAC下原位执行Metropolis-Hastings采样并利用空间局部性，该设计在1 GHz下仅用91 μW每轮迭代即可实现2000个周期内完成500次采样，显著减少了数据移动和功耗，同时容忍硬件非理想性。

ABSTRACT

This work discusses the implementation of Markov Chain Monte Carlo (MCMC) sampling from an arbitrary Gaussian mixture model (GMM) within SRAM. We show a novel architecture of SRAM by embedding it with random number generators (RNGs), digital-to-analog converters (DACs), and analog-to-digital converters (ADCs) so that SRAM arrays can be used for high performance Metropolis-Hastings (MH) algorithm-based MCMC sampling. Most of the expensive computations are performed within the SRAM and can be parallelized for high speed sampling. Our iterative compute flow minimizes data movement during sampling. We characterize power-performance trade-off of our design by simulating on 45 nm CMOS technology. For a two-dimensional, two mixture GMM, the implementation consumes ~ 91 micro-Watts power per sampling iteration and produces 500 samples in 2000 clock cycles on an average at 1 GHz clock frequency. Our study highlights interesting insights on how low-level hardware non-idealities can affect high-level sampling characteristics, and recommends ways to optimally operate SRAM within area/power constraints for high performance sampling.

研究动机与目标

• 通过在SRAM中协同计算与数据，解决传统冯·诺依曼架构在贝叶斯推理中能耗高、延迟大的问题。
• 为高斯混合模型（GMMs）实现高吞吐量、低功耗的MCMC采样，其表达能力优于单一高斯模型。
• 探究硬件非理想性（如工艺失配和ADC/DAC精度）对MCMC采样准确性和性能的影响。
• 优化基于SRAM的内存内计算在贝叶斯推理工作负载下的功耗-面积权衡。

提出的方法

• 在SRAM阵列内直接集成RNG单元、DAC和ADC，以协同实现MCMC采样、参数存储和随机数生成。
• 采用两步闪存ADC结构，配备10个比较器，以最小化延迟（2个周期）并支持高吞吐量，尽管功耗较高。
• 在DAC中采用校准晶体管和降低导通电压，以缓解工艺失配和沟道长度调制效应。
• 在模拟域中使用缩放随机步长（R/σ²）进行密度计算，并通过模拟比较计算接受率。
• 采用基于马尔可夫链的迭代流程，使连续采样值彼此接近，从而最小化每轮迭代的计算负载。
• DAC和ADC采用8位精度，分析表明ADC精度低于5位时，采样准确性显著下降。

实验结果

研究问题

• RQ1 如何通过在SRAM中协同计算与数据，加速贝叶斯推理的MCMC采样？
• RQ2 ADC/DAC精度和工艺失配对模拟SRAM架构中MCMC采样准确性的具体影响是什么？
• RQ3 低精度、内存内MCMC采样能否在最小化功耗和面积的同时，实现可接受的采样质量？
• RQ4 诸如沟道长度调制和失配等硬件非理想性如何影响高层次的采样特性？
• RQ5 在面积和精度约束下，SRAM内MCMC采样的最优功耗-性能权衡是什么？

主要发现

• MC²RAM设计在1 GHz下实现2000个周期内完成500次MCMC采样，每轮迭代仅消耗91 μW。
• ADC精度对采样准确性有显著影响：低于5位精度时，KL散度与真实值的偏差显著增加。
• DAC精度对KL散度影响极小，表明对DAC非理想性具有较强容忍度。
• 两步闪存ADC中的10个比较器占ADC功耗的60%，但其2周期延迟使采样吞吐量得以提升。
• SRAM和DAC合计占总功耗的18%，而ADC功耗占比高达82%。
• 随着GMM分量分离度增加和维度提升，采样准确性下降，凸显可扩展性挑战。