[論文レビュー] An Online Learning Algorithm for Neuromorphic Hardware Implementation

Chetan Singh Thakur, Runchun Wang+5 more|arXiv (Cornell University)|May 11, 2015

Advanced Memory and Neural Computing参考文献 26被引用数 10

ひとこと要約

本論文は、隠れ層の活性化と出力誤差に基づく符号に基づく重み更新を用いる、Trainable Analogue Block (TAB) 神経モルフィックハードウェアフレームワークのための符号ベースのオンライン学習（SOL）アルゴリズムを提案する。この手法により、最小限の計算負荷で効率的かつハードウェア実装可能なオンライン学習が、回帰タスクにおけるスパikingニューラルネットワークで可能になる。

ABSTRACT

We propose a sign-based online learning (SOL) algorithm for a neuromorphic hardware framework called Trainable Analogue Block (TAB). The TAB framework utilises the principles of neural population coding, implying that it encodes the input stimulus using a large pool of nonlinear neurons. The SOL algorithm is a simple weight update rule that employs the sign of the hidden layer activation and the sign of the output error, which is the difference between the target output and the predicted output. The SOL algorithm is easily implementable in hardware, and can be used in any artificial neural network framework that learns weights by minimising a convex cost function. We show that the TAB framework can be trained for various regression tasks using the SOL algorithm.

研究の動機と目的

• リアルタイムで動作する神経モルフィックシステムと互換性のあるハードウェア効率の良い学習アルゴリズムの開発を目的とする。
• アナログVLSI実装に適した最小限の計算リソースを用いて、TABフレームワークにおけるオンライン学習を可能にする。
• 隠れ層活性化と出力誤差の符号のみを活用する重み更新ルールの設計により、複雑さを低減する。
• 提案されたアルゴリズムを用いて、さまざまな回帰タスクにおけるTABフレームワークの学習可能性を実証する。
• 任意のニューラルネットワークフレームワークと互換性があり、凸コスト関数を最小化する学習ルールを確保する。

提案手法

• SOLアルゴリズムは、勾配情報の代理として隠れ層ニューロンの活性化の符号を用いる。
• 出力誤差（目標出力と予測出力の差）の符号に基づいて重み更新を計算する。
• 重み更新ルールは Δw ∝ sign(activation) × sign(error) として定式化され、バイナリに近い計算を可能にする。
• この手法はオンラインで逐次的に動作し、各入力入力後に重みを更新する。
• アルゴリズムはアナログVLSIハードウェアに直接実装可能であり、面積と消費電力を最小限に抑える。
• フレームワークは神経集団符号化に依存しており、入力は非線形ニューロンの多数のプールに分散して符号化される。

実験結果

リサーチクエスチョン

• RQ1 符号ベースの学習ルールは、計算複雑性を最小限に抑えつつ、神経モルフィックハードウェアフレームワークで効果的な学習を達成できるか？
• RQ2 SOLアルゴリズムは、回帰タスクにおけるTABフレームワークの学習にどの程度効果的か？
• RQ3 符号ベースの重み更新ルールは、スパikingニューラルネットワークにおけるオンラインで逐次的な学習と互換性があるか？
• RQ4 フル精度演算を用いずに、アナログVLSIハードウェアに効率的に実装可能か？
• RQ5 符号情報のみを用いることで、実用的な回帰タスクに十分な学習能力が保持されるか？

主な発見

• SOLアルゴリズムは、隠れ層活性化と出力誤差からの符号情報のみを用いて、複数の回帰タスクにおけるTABフレームワークの学習に成功した。
• 最小限の計算負荷で安定した学習収束を達成し、リアルタイム神経モルフィックシステムに適している。
• バイナリ重み更新メカニズムのおかげで、アナログVLSI実装にネイティブに適合している。
• さまざまな回帰ベンチマークで優れた性能を示し、符号ベース学習の実現可能性を確認した。
• 従来の誤差逆伝播法と比較して、ハードウェア複雑性を顕著に低減し、低消費電力の神経モルフィックコンピューティングを可能にした。
• 疎で符号ベースの信号であっても学習効率を維持でき、エネルギー制限環境における設計の妥当性を検証した。