[論文レビュー] Gibbs Sampling with Low-Power Spiking Digital Neurons

Srinjoy Das, Bruno U. Pedroni+7 more|arXiv (Cornell University)|Mar 26, 2015

Advanced Memory and Neural Computing参考文献 7被引用数 4

ひとこと要約

本稿では、神経モルフィックVLSI基板（TrueNorth）上にデジタルスパikingニューロンを用いて、確率的漏れおよび閾値特性を持つ低消費電力のギブスサンプリング実装を提案する。これにより、制限ボルツマンマシン（RBMs）およびディープベルリーフネットワーク（DBNs）におけるエネルギー効率の高い推論が可能になる。本手法は、オンチップの擬似乱数生成により、精度の高いシグモイド関数の近似を実現し、最小限のハードウェアコストで分類および生成性能が向上することを示している。

ABSTRACT

Restricted Boltzmann Machines and Deep Belief Networks have been successfully used in a wide variety of applications including image classification and speech recognition. Inference and learning in these algorithms uses a Markov Chain Monte Carlo procedure called Gibbs sampling. A sigmoidal function forms the kernel of this sampler which can be realized from the firing statistics of noisy integrate-and-fire neurons on a neuromorphic VLSI substrate. This paper demonstrates such an implementation on an array of digital spiking neurons with stochastic leak and threshold properties for inference tasks and presents some key performance metrics for such a hardware-based sampler in both the generative and discriminative contexts.

研究の動機と目的

• 神経モルフィックハードウェアを用いて、RBMsおよびDBNsにおけるエネルギー効率の高いリアルタイム推論を可能にすること。
• 決定論的および確率的漏れ／閾値メカニズムを有する確率的スパikingニューロンを用いて、ギブスサンプリングを実装すること。
• アナログノイズや複雑なノイズ生成を用いずに、MCMCサンプリングに必要な精度の高いシグモイド活性化関数を実現すること。
• 判別的（分類）および生成的（パターン補完）タスクの両方における性能を評価すること。
• デジタル神経モルフィックプラットフォーム上でハードウェアベースの確率的推論の実現可能性を示すこと。

提案手法

• TrueNorth VLSI基板上に、設定可能な確率的漏れおよび閾値を持つデジタルインテグレートアンドファイアニューロンを用いる。
• スパイク入力と出力を同期させるための離散時クロック同期方式を採用し、並列ギブスサンプリングを可能にする。
• 確率的閾値処理と制御された漏れを用いてシグモイド活性化関数を実現し、漏れはオンチップのPRNGによって生成する。
• 入力電流をスパiking確率にマッピングするため、シナプス重みを-100から100の範囲に設定する。
• 可視ユニットと隠れユニットの間で交互に並列更新を適用し、RBMsにおけるMCMCサンプリングを模倣する。
• スケールファクター（解像度）を用いてシグモイド近似の感度を制御し、サンプリング精度に影響を与える。

実験結果

リサーチクエスチョン

• RQ1 確率的漏れおよび閾値特性を持つデジタルスパikingニューロンは、RBMsにおけるギブスサンプリングに必要なシグモイド関数を、十分に正確に再現できるか？
• RQ2 確率的漏れおよび閾値パラメータの選択が、ハードウェア上でのMCMCサンプリングの精度にどのように影響するか？
• RQ3 ノイズのある条件下で、画像分類のような判別的タスクにおけるハードウェアベースのサンプラーの性能はいかがなものか？
• RQ4 生成的タスクにおいて、KLダイバージェンスを指標として用いると、ハードウェアサンプラーは真のボルツマン分布をどの程度正確に近似できるか？
• RQ5 オンチップのPRNGが、複雑なノイズ源に代わってシグモイド近似に用いられ、サンプリングの忠実性を維持できるか？

主な発見

• 非ゼロの確率的漏れを有するデジタルギブスサンプラーは、決定論的漏れ（0.0218–0.1090）と比較して、顕著に低いKLダイバージェンス（0.0083–0.0330）を達成し、生成モデルの質が向上していることが示された。
• 高解像度のサンプラー（スケールファクターP7）を用いた分類器は、ノイズのあるMNISTデータに対して誤りが少なく、入力の汚損に対して高い耐性を示した。
• TrueNorthベースの実装は、1回のサンプリングインターバル（Tw=1）で低遅延推論を実現し、リアルタイムアプリケーションに適している。
• TrueNorth上でのスパイクパターンは、理想のシグモイド曲線とよく一致しており、発火確率が理論的期待値と整合的であった。
• アナログI&Fニューロンにガウスノイズを用いるのと比較して、オンチップPRNGを用いた確率的漏れ生成は、より実用的でエネルギー効率に優れていることが判明した。
• 本手法により、RBMsおよびDBNsにおけるスケーラブルで低消費電力の推論が可能となり、エッジAIおよびブレインコンピュータインターフェースに適している。