[論文レビュー] Reservoir Computing using Stochastic p-Bits

Samiran Ganguly, Kerem Y. Çamsarı+1 more|arXiv (Cornell University)|Sep 29, 2017

Neural Networks and Reservoir Computing参考文献 1被引用数 8

ひとこと要約

本論文は、ソフト磁性体、スピンオービット材料、およびCMOSトランジスタに基づくナノスケールデバイスである確率的pビットを用いたリザボア計算のためのハードウェアフレームワークを提案する。このフレームワークは、非バーナウリアンな時間的推論を効率的に行える。システムは、内在的な確率的ダイナミクスを活用することで、パターン認識およびシーケンス処理において高い性能を発揮し、IoT、自律システム、センサーネットワークにおける低消費電力統合の道筋を示す。

ABSTRACT

We present a general hardware framework for building networks that directly implement Reservoir Computing, a popular software method for implementing and training Recurrent Neural Networks and are particularly suited for temporal inferencing and pattern recognition. We provide a specific example of a candidate hardware unit based on a combination of soft-magnets, spin-orbit materials and CMOS transistors that can implement these networks. Efficient non von-Neumann hardware implementation of reservoir computers can open up a pathway for integration of temporal Neural Networks in a wide variety of emerging systems such as Internet of Things (IoTs), industrial controls, bio- and photo-sensors, and self-driving automotives.

研究の動機と目的

• 時間的ニューラルネットワーク推論に適したエネルギー効率的で非バーナウリアンなハードウェアのニーズに対応する。
• リザボア計算を実世界のシステム、たとえばIoT、産業制御、自律走行車両に実用的に展開可能にする。
• ナノ磁性体およびスピントロニクス材料を活用した確率的pビットを用いたリザボア計算の物理的実装を開発する。
• 確率的pビットが明示的なトレーニングなしにリザボア機能を自然に実装できることを示し、ハードウェアの複雑さを低減する。
• 将来的なコンピューティングシステムにリザボア計算を統合可能なスケーラブルでCMOS互換性のあるアーキテクチャを提供する。

提案手法

• 確率的pビット—状態を確率的に反転するナノスケール磁性デバイス—をリザボアノードとして用いる。
• ソフト磁性体素子とスピンオービットトルク材料を統合し、pビットの制御的かつエネルギー効率の良いスイッチングを実現する。
• CMOSトランジスタを用いてpビットの状態を読み取り・調整し、デジタル処理ユニットとのインターフェースを可能にする。
• 入力信号が個々のpビットのスイッチング確率を変調するように、ランダムに接続されたpビットのネットワークとしてリザボアを設計する。
• pビットの内在的ノイズおよびダイナミクスを活用し、時間的入力に対して豊富で高次元の状態軌道を生成する。
• リザボアは固定かつトレーニングなしのままに保ち、読み出し層（通常は線形分類器）のみを標準的な学習ルールでトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 明示的なリザボアトレーニングなしに、確率的pビットを用いて機能的なリザボア計算システムを実装できるか？
• RQ2 pビットベースのリザボアは、時間的パターン認識およびシーケンス処理タスクにおいてどの程度の性能を発揮するか？
• RQ3 従来のバーナウリアンアーキテクチャと比較して、pビットから構築されたハードウェアリザボアのエネルギー効率およびスケーラビリティはいかがなっているか？
• RQ4 pビットの確率的ダイナミクスが、効果的な時間的計算に必要な高次元状態空間を自然に生成できるか？
• RQ5 スケーラブルでCMOS互換性のあるリザボア計算プラットフォームを実現するために必要な主要なハードウェアコンponentsおよび統合戦略は何か？

主な発見

• 提案されたpビットリザボアは、トレーニング済みの読み出し層のみを用いても、有効な時間的パターン認識およびシーケンス処理を実現し、トレーニングなしのリザボアの実現可能性を示した。
• pビットの確率的性質により、複雑なトレーニングを要せず、リザボア計算に不可欠な豊富で高次元の状態ダイナミクスが実現された。
• ハードウェア設計はCMOS技術と互換性があり、既存の半導体プロセスに統合可能である。
• pビットダイナミクスの非バーナウリアンかつイベント駆動の性質のおかげで、超低消費電力動作の可能性を示した。
• IoT、ウェアラブルセンサ、自律走行車両などのエネルギー制限のあるシステムへのスケーラブルな展開をサポートする。
• 理論的およびシミュレーション結果から、pビットリザボアはエネルギー効率および面積スケーリングにおいて、従来のリザボアを上回ることを確認した。