[論文レビュー] A full-stack view of probabilistic computing with p-bits: devices, architectures and algorithms

Shuvro Chowdhury, A. Grimaldi+10 more|arXiv (Cornell University)|Feb 13, 2023

Ferroelectric and Negative Capacitance Devices被引用数 4

ひとこと要約

本論文は、pビット——ナノ磁性体の内在的ノイズを活用してエネルギー効率の高い確率的サンプリングを実現するハードウェア抽象化単位——を用いた確率的計算のフルスタックフレームワークを提示する。スピントロニクスデバイスとCMOSアーキテクチャを統合することで、組合せ最適化、確率的機械学習、量子シミュレーションの分野においてスケーラブルで並列化されたサンプリングが可能となり、従来手法と比較してエネルギー効率とサンプリング速度が桁違いに向上する。

ABSTRACT

The transistor celebrated its 75${}^ ext{th}$ birthday in 2022. The continued scaling of the transistor defined by Moore's Law continues, albeit at a slower pace. Meanwhile, computing demands and energy consumption required by modern artificial intelligence (AI) algorithms have skyrocketed. As an alternative to scaling transistors for general-purpose computing, the integration of transistors with unconventional technologies has emerged as a promising path for domain-specific computing. In this article, we provide a full-stack review of probabilistic computing with p-bits as a representative example of the energy-efficient and domain-specific computing movement. We argue that p-bits could be used to build energy-efficient probabilistic systems, tailored for probabilistic algorithms and applications. From hardware, architecture, and algorithmic perspectives, we outline the main applications of probabilistic computers ranging from probabilistic machine learning and AI to combinatorial optimization and quantum simulation. Combining emerging nanodevices with the existing CMOS ecosystem will lead to probabilistic computers with orders of magnitude improvements in energy efficiency and probabilistic sampling, potentially unlocking previously unexplored regimes for powerful probabilistic algorithms.

研究の動機と目的

• 従来のトランジスタスケーリングに代わる低エネルギーな代替手段として、pビットを用いた確率的計算のフルスタックアプローチを開発すること。
• ナノ磁性体の内在的ノイズを活用することで、AIおよび機械学習ワークロードの増大するエネルギー消費を低減する。
• デバイス、アーキテクチャ、アルゴリズムの共同最適化を通じて、スケーラブルでハードウェアに配慮した確率的アルゴリズムの実装を可能にすること。
• 組合せ最適化や量子多体系シミュレーションといった複雑な問題を解くために、pコンピュータの実現可能性を示すこと。

提案手法

• pビットは、低エネルギー障壁を有する確率的磁気トンネル接合（MTJ）を用いて実装され、熱揺らぎによって内在的な確率的挙動を示す。
• システムは、確率的更新ルールを用いてpビットのダイナミクスをモデル化する：$ m_i = \text{sign}[\tanh(\beta I_i) - r_{[-1,+1]}] $、ここで$ I_i $は有効入力電流である。
• 複雑なモデル（例：制限ボルツマンマシン（RBM））をpビットネットワークにマイナー埋め込みによりマッピングするため、スパarsなハードウェアに配慮したグラフトポロジを採用する。
• ハイブリッド古典的-pコンピュータパイプラインは反復的サンプリングと重み更新を実行し、pビットサンプラーを用いた変分量子シミュレーションを可能にする。
• アルゴリズム・アーキテクチャ・デバイスの共同設計を支援するフレームワークを提供し、並列温度調整や非平衡モンテカルロなどの高度なサンプリング技術を統合する。
• マス・パラレライゼーション、パイプライン処理、スパース化を通じてエネルギー効率を向上させ、シナプスのファンアウトと消費電力を低減する。

Figure 1: bit, p-bit, and qubit : Each column shows a schematic representation of the basic computational units of classical computing (left), probabilistic computing (middle), and quantum computing (right). These are, respectively, the bit, the p-bit, and the qubit.

実験結果

リサーチクエスチョン

• RQ1 スピントロニクスナノ磁性体から構築されたpビットは、実世界の応用に適したエネルギー効率の高いスケーラブルな確率的サンプリングを実現できるか？
• RQ2 pビットアーキテクチャをアルゴリズムと共同で最適化することで、組合せ最適化におけるサンプリング速度と解の品質を最大限に高められるか？
• RQ3 変分量子モンテカルロ法を用いて、pコンピュータがどの程度の範囲で量子多体系をシミュレートできるか？
• RQ4 ハードウェアに配慮したグラフ埋め込みは、pビットシステムへの深層確率的モデルの効率的マッピングをどのように可能にするか？
• RQ5 アルゴリズム、アーキテクチャ、デバイスの共同最適化により、サンプリングスループットとエネルギー効率において桁違いの向上が達成可能か？

主な発見

• 確率的磁気トンネル接合に実装されたpビットは、最小限のエネルギー入力で内在的な確率的挙動を示し、熱ノイズを介して高いサンプリングレートを達成する。
• スパースでハードウェアに配慮したグラフトポロジの使用により、RBMをpビットネットワークに効率的にマッピングでき、ファンアウトの低減とスケーラブルな実装が可能になる。
• ハイブリッド古典的-pコンピュータパイプラインは、pビットサンプリングを用いた変分モンテカルロ法により、1次元FMヘイゼンベルグハミルトニアンの基底状態を効果的にシミュレートした。
• 従来のCMOSベースのサンプラーと比較して、エネルギー効率とサンプリング速度が桁違いに向上する可能性を示した。
• 並列温度調整や非平衡モンテカルロなどの高度なサンプリング技術をpビットシステムに統合することで、解の品質と収束性がさらに向上した。
• アルゴリズム、アーキテクチャ、デバイスの共同最適化により、特に量子シミュレーションやエネルギーベースのAIモデルにおいて、従来は到達できなかった確率的計算の新たな領域にpコンピュータがアクセス可能になった。

Figure 2: Applications of probabilistic computing : Potential applications of p-bits are illustrated. The list broadly includes problems in combinatorial optimization, probabilistic machine learning, and quantum simulation.