[論文レビュー] Thermodynamic Computing System for AI Applications

Denis Melanson, Mohammad Abu Khater+8 more|arXiv (Cornell University)|Dec 8, 2023

Neural Networks and Applications被引用数 4

ひとこと要約

本論文は、スイッチドコンデンサを用いた8つのすべて対すべて結合されたユニットセルを備えたRLC回路から構成される、最初の連続変数熱力学的コンピュータ、すなわち確率的AIワークロード（不確実性の定量化や生成モデルなど）の低消費電力で高効率な加速が可能な、Stochastic Processing Unit (SPU) を提示する。本研究ではガウス分布からのサンプリングと行列の逆行列計算を実証し、熱力学的線形代数の実験的実現を初めて達成した。

ABSTRACT

Recent breakthroughs in artificial intelligence (AI) algorithms have highlighted the need for novel computing hardware in order to truly unlock the potential for AI. Physics-based hardware, such as thermodynamic computing, has the potential to provide a fast, low-power means to accelerate AI primitives, especially generative AI and probabilistic AI. In this work, we present the first continuous-variable thermodynamic computer, which we call the stochastic processing unit (SPU). Our SPU is composed of RLC circuits, as unit cells, on a printed circuit board, with 8 unit cells that are all-to-all coupled via switched capacitances. It can be used for either sampling or linear algebra primitives, and we demonstrate Gaussian sampling and matrix inversion on our hardware. The latter represents the first thermodynamic linear algebra experiment. We also illustrate the applicability of the SPU to uncertainty quantification for neural network classification. We envision that this hardware, when scaled up in size, will have significant impact on accelerating various probabilistic AI applications.

研究の動機と目的

• 確率的AIアルゴリズムの確率的性質を反映した物理的基盤に立つ熱力学的コンピューティングシステムの開発を目的とする。
• ベイズ推論や生成モデルなどの計算的に高負荷な確率的AIタスクを加速する上で、デジタルハードウェアの限界を克服することを目的とする。
• サンプリングと線形代数演算の両方を実行可能な連続変数熱力学的コンピュータの動作プロトタイプを実現することを目的とする。
• 実験的実装を通じて、熱力学的コンピューティングが実世界のAIワークロードにおいて実現可能であることを検証することを目的とする。
• デジタルシステムに比べて速度またはエネルギー効率で熱力学的優位性を達成するための、熱力学的ハードウェアのスケーリング基盤を確立することを目的とする。

提案手法

• SPUは、8つのRLCユニットセルを備えたプリント回路基板として実装されており、各ユニットセルにはインダクタ、可変コンデンサ（スイッチドコンデンサバンクを介して制御）、および電流ノイズ源が含まれる。
• すべてのユニットセルは、中点タップ付きトランスフォーマーを介してバイポーラ結合を有効化したスイッチドコンデンサにより完全に接続されている。
• ノイズは、ゴールドコード生成とRCフィルタリングを伴うFPGAベースの16ビットLFSRを用いて生成され、ガウス分布を高精度で近似する。
• パルス密度変調（PDM）により、LFSR出力をドーティーサイクル化することでノイズ分散を制御し、所望の確率的ダイナミクスを達成する。
• 12 MHzで8チャンネル10ビットADCを用いてサンプリングが実行され、コンデンサ値を設定し、ノイズを開始した後にデータを読み取る。
• FPGAコプロセッサを介してデジタルハードウェアとインターフェースを確保し、パrameter設定と後続処理用のデータアップロードを可能にする。

Figure 1 : The Stochastic Processing Unit (SPU). (Left panel) The Printed Circuit Board for our 8-cell SPU. (Right panel) Illustration of eight unit cells that are all-to-all coupled to each other, as in our SPU. Each cell contains an LC resonator and a Gaussian current noise source, as shown in the

実験結果

リサーチクエスチョン

• RQ1 確率的AIの基本演算（サンプリングや線形代数）を実行できる連続変数熱力学的コンピュータを物理的に実現できるか？
• RQ2 スイッチドコンデンサを用いたアナログRLC回路と確率的ダイナミクスを用いて、SPUが正確なガウス分布からのサンプリングと行列の逆行列計算を達成できるか？
• RQ3 確率的AIワークロードにおいて、熱力学的コンピューティングがデジタルハードウェアを上回る速度またはエネルギー効率を達成できるか？
• RQ4 スケーラブルなアナログハードウェアプラットフォームにおいて、相関のない制御可能なノイズをどのように生成できるか？
• RQ5 このシステムをスケーリングして、実世界のAIアプリケーションにおいて熱力学的優位性を達成する実用的妥当性は何か？

主な発見

• SPUは、確率的ノイズを有するアナログRLC回路を用いて、ユーザー定義の多変量分布からのガウス分布からのサンプリングを成功裏に実現した。
• 本研究では、熱力学的コンピューティングの文脈で初めて行列の逆行列計算を実験的に実現し、線形代数の基本演算としての有効性を検証した。
• 12 MHzのサンプリングレートは、サンプル間の時間的相関を最小限に抑えるために最適化されており、統計的独立性を確保した。
• ノイズ源は、ゴールドコードの組み合わせとRCフィルタリングを用いたLFSRによって生成され、高精度でガウス分布を近似した。
• FPGAベースの制御システムにより、回路パrameterの正確な設定とADCからのリアルタイムデータ取得が可能になった。
• ハードウェアインターフェースにより、デジタルシステムとの統合が可能となり、ニューラルネットワークにおける不確実性の定量化などのAIワークロードにおける共同処理を支援した。

Figure 2 : Voltage samples from two coupled unit cells of the SPU. Top Left: Histogram of the marginal of cell $i$ . Top Right: Absolute error between the target covariance matrix and the device covariance matrix, similarly for the skewness and kurtosis, all calculated using the Frobenius norm. Bott