[论文解读] A full-stack view of probabilistic computing with p-bits: devices, architectures and algorithms

Shuvro Chowdhury, A. Grimaldi+10 more|arXiv (Cornell University)|Feb 13, 2023

Ferroelectric and Negative Capacitance Devices被引用 4

一句话总结

本文提出了一套完整的p-bit概率计算全栈框架——p-bit是利用本征纳米磁体噪声实现的硬件抽象单元，可实现能效更高的概率采样。通过将自旋电子器件与CMOS架构集成，该方法实现了组合优化、概率机器学习和量子模拟的可扩展、并行化采样，相比传统方法在能效和采样速度方面实现了数量级的提升。

ABSTRACT

The transistor celebrated its 75${}^ ext{th}$ birthday in 2022. The continued scaling of the transistor defined by Moore's Law continues, albeit at a slower pace. Meanwhile, computing demands and energy consumption required by modern artificial intelligence (AI) algorithms have skyrocketed. As an alternative to scaling transistors for general-purpose computing, the integration of transistors with unconventional technologies has emerged as a promising path for domain-specific computing. In this article, we provide a full-stack review of probabilistic computing with p-bits as a representative example of the energy-efficient and domain-specific computing movement. We argue that p-bits could be used to build energy-efficient probabilistic systems, tailored for probabilistic algorithms and applications. From hardware, architecture, and algorithmic perspectives, we outline the main applications of probabilistic computers ranging from probabilistic machine learning and AI to combinatorial optimization and quantum simulation. Combining emerging nanodevices with the existing CMOS ecosystem will lead to probabilistic computers with orders of magnitude improvements in energy efficiency and probabilistic sampling, potentially unlocking previously unexplored regimes for powerful probabilistic algorithms.

研究动机与目标

• 开发一种基于p-bit的全栈概率计算方法，作为传统晶体管缩放的低能耗替代方案。
• 通过利用纳米磁体中的本征噪声实现随机计算，以应对人工智能和机器学习工作负载日益增长的能耗需求。
• 通过器件、架构与算法的协同设计，实现概率算法的可扩展、硬件感知实现。
• 展示p-计算机在求解组合优化和量子多体模拟等复杂问题上的可行性。

提出的方法

• p-bit通过低势垒的随机磁隧道结（MTJs）实现，利用热涨落实现本征概率行为。
• 系统使用随机更新规则建模p-bit动力学：$ m_i = \text{sign}[\tanh(\beta I_i) - r_{[-1,+1]}] $，其中$ I_i $为有效输入电流。
• 架构采用稀疏、硬件感知的图拓扑结构，通过小规模嵌入将复杂模型（如受限玻尔兹曼机，RBMs）映射到p-bit网络。
• 混合经典-p-计算机流水线执行迭代采样与权重更新，支持使用p-bit采样器进行变分量子模拟。
• 该框架支持算法-架构-器件协同设计，集成并行退火和非平衡蒙特卡洛等先进采样技术。
• 通过大规模并行化、流水线处理和稀疏化进一步提升能效，降低突触扇出与功耗。

Figure 1: bit, p-bit, and qubit : Each column shows a schematic representation of the basic computational units of classical computing (left), probabilistic computing (middle), and quantum computing (right). These are, respectively, the bit, the p-bit, and the qubit.

实验结果

研究问题

• RQ1 由自旋电子纳米磁体构建的p-bit能否在真实应用中实现高效、可扩展的概率采样？
• RQ2 如何将p-bit架构与算法协同设计，以在组合优化中最大化采样速度与解的质量？
• RQ3 p-计算机在多大程度上可利用变分量子蒙特卡洛方法模拟量子多体系统？
• RQ4 硬件感知图嵌入在将深度概率模型高效映射到p-bit系统中起到何种作用？
• RQ5 算法、架构与器件的协同设计能否实现采样吞吐量与能效的数个数量级提升？

主要发现

• 在随机磁隧道结中实现的p-bit通过热噪声实现本征概率行为，仅需极低能量输入，即可实现高采样速率。
• 采用稀疏、硬件感知的图拓扑结构可高效将RBMs映射到p-bit网络，降低扇出并支持可扩展实现。
• 混合经典-p-计算机流水线成功利用p-bit采样实现了对一维FM海森堡哈密顿量基态的变分蒙特卡洛模拟。
• 与传统CMOS基采样器相比，该系统在能效和采样速度方面展现出数量级的提升潜力。
• 并行退火与非平衡蒙特卡洛等先进采样技术可集成到p-bit系统中，进一步提升解的质量与收敛性。
• 算法、架构与器件的协同设计使p-计算机能够进入概率计算中此前未探索的领域，尤其在量子模拟与基于能量的AI模型方面。

Figure 2: Applications of probabilistic computing : Potential applications of p-bits are illustrated. The list broadly includes problems in combinatorial optimization, probabilistic machine learning, and quantum simulation.