[論文レビュー] R-DBN: A Resistive Deep Belief Network Architecture Leveraging the Intrinsic Behavior of Probabilistic Devices.

Ramtin Zand, Kerem Y. Çamsarı+5 more|arXiv (Cornell University)|Sep 30, 2017

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本論文では、シグモイド活性化関数を内蔵する確率的ニューロンをナノ磁性pビットを用いてネイティブに実装する、リラクタンス型ディープベルーフネットワーク（R-DBN）を提案する。CMOSとスピンベースの重み付きアレイを統合してRBMsを実現することで、5,000件のトレーニングサンプルを用いてMNISTの数字認識で3.7%の誤差率を達成し、深さが784x800x800x10のトポロジーを持つベースラインの36.8%誤差率を顕著に低減した。

ABSTRACT

A resistive deep belief network (R-DBN) architecture is developed using the physics of nanomagnets to provide a natural hardware representation for individual probabilistic neurons. Probabilistic spin logic devices (p-bits) are modeled to demonstrate a sigmoidal activation function. A hybrid CMOS/spin based weighted array structure is designed to implement a restricted Boltzmann machine (RBM). Device-level simulations based on precise physics relations are used to validate the sigmoidal relation between the output probability of a p-bit and its input currents. Characteristics of the resistive networks and p-bits are modeled in SPICE to perform a circuit-level simulation, which investigates the performance, area, and power consumption tradeoffs of the weighted array. In the application-level simulation, an R-DBN is implemented in MATLAB for digit recognition using the extracted device and circuit behavioral models. The MNIST data set is used to assess the accuracy of the R-DBN using 100 to 5,000 training images for five distinct network topologies. The results indicate that a baseline error rate of 36.8% for a 784x10 R-DBN trained by 100 samples can be reduced to only 3.7% using a 784x800x800x10 R-DBN trained by 5,000 input samples. Finally, power dissipation and accuracy tradeoffs for probabilistic computing mechanisms using resistive devices are identified.

研究の動機と目的

• 確率的スピンデバイス（pビット）の内在的動作に自然にマッピングできるハードウェアに配慮したディープベルーフネットワークアーキテクチャの開発。
• デバイスレベルの物理シミュレーションを用いてpビットのシグモイド活性化関数のモデル化と検証。
• 回路レベルのSPICEシミュレーションを通じて、リラクタンス型重み付きアレイにおける性能、面積、消費電力のトレードオフの最適化。
• MNISTデータセットを用いた実世界の分類タスクにおいて、R-DBNの精度とエネルギー効率の評価。
• リラクタンス型ナノ磁性デバイスを用いた確率的コンピューティングにおける、消費電力損失と精度のトレードオフの同定。

提案手法

• 入力電流に基づく出力確率のシグモイド関数を、正確な物理的関係を用いてpビットでエミュレートする。
• リラクタンスクロスバー構造を用いて、制限付きボルツマンマシン（RBM）を実装するハイブリッドCMOS/スピンベースの重み付きアレイの設計。
• 回路レベルの特性、特に消費電力、面積、性能のトレードオフを分析するため、SPICEレベルのシミュレーションを実施。
• デバイスおよび回路の行動モデルをMATLABベースのR-DBNフレームワークに統合し、アプリケーションレベルの評価を実施。
• MNISTデータセット上で、深さとトレーニングサンプルサイズが異なる5つの異なるネットワークトポロジーを用いてR-DBNのトレーニングとテストを実施。
• 実験的誤差率を用いて、ネットワークの深さ、トレーニングデータサイズ、分類精度の関係を定量化。

実験結果

リサーチクエスチョン

• RQ1 pビットは、その内在的スピンダイナミクスによって、自然にシグモイド活性化関数を実装できるか？
• RQ2 CMOSとスピンベースのデバイスから構成されるリラクタンス型重み付きアレイにおいて、消費電力、面積、性能のトレードオフはどのように変化するか？
• RQ3 異なるネットワーク深さとトレーニングデータサイズにおいて、MNISTデータセットにおけるR-DBNの達成可能な分類精度は何か？
• RQ4 ネットワークの深さとトレーニングサンプルサイズを増加させることで、R-DBNアーキテクチャの誤差率はどのように変化するか？
• RQ5 リラクタンス型ナノ磁性デバイスを用いた確率的コンピューティングにおける、根本的な消費電力損失と精度のトレードオフは何か？

主な発見

• pビットデバイスは、物理的モデルによる予測通り、入力電流に応じた出力確率を正確に追従するシグモイド活性化関数を効果的にエミュレートした。
• ハイブリッドCMOS/スピン重み付きアレイは、784x10 R-DBNアーキテクチャを用い、たった100件のサンプルでトレーニングした場合に36.8%の誤差率を達成した。
• ネットワークの深さを784x800x800x10に増加させ、トレーニングデータを5,000件に増やしたことで、誤差率は3.7%に低下した。
• R-DBNは、ネットワークの深さとトレーニングデータ量の増加に伴い、精度が顕著に向上するスケーラビリティを示し、確率的ハードウェアにおける有効な学習を示した。
• 回路レベルのSPICEシミュレーションにより、リラクタンスネットワーク設計が消費電力と性能の間で良好なトレードオフを達成していることが確認された。
• 本研究では、エネルギー損失と分類精度の明確なトレードオフが同定され、リラクタンス型pビットデバイスが低消費電力の確率的推論に適している可能性が示された。