[論文レビュー] Unsupervised Learning in Synaptic Sampling Machines.

Emre Neftci, Bruno U. Pedroni+3 more|arXiv (Cornell University)|Nov 14, 2015

Advanced Memory and Neural Computing参考文献 21被引用数 12

ひとこと要約

本稿では、シナプスの不安定性を用いてサンプリングベースの確率的性質を誘発する、確率的ニューラルネットワークであるSynaptic Sampling Machine（SSM）を提案する。SSMは、イベント駆動型の対照的勾配降下ルールを用いて、エネルギー効率の高い非教師あり学習を実現する。SSMはMNISTで4.4%の誤差率を達成し、制限付きボルツマンマシンを上回り、重みの80%以上の pruning に対しても最小限の精度損失で耐性を示す。

ABSTRACT

Recent studies have shown that synaptic unreliability is a robust and sufficient mechanism for inducing the stochasticity observed in cortex. Here, we introduce the Synaptic Sampling Machine (SSM), a stochastic neural network model that uses synaptic unreliability as a means to stochasticity for sampling. Synaptic unreliability plays the dual role of an efficient mechanism for sampling in neuromorphic hardware, and a regularizer during learning akin to DropConnect. Similar to the original formulation of Boltzmann machines, the SSM can be viewed as a stochastic counterpart of Hopfield networks, but where stochasticity is induced by a random mask over the connections. The SSM is trained to learn generative models with a synaptic plasticity rule implementing an event-driven form of contrastive divergence. We demonstrate this by learning a model of MNIST hand-written digit dataset, and by testing it in recognition and inference tasks. We find that SSMs outperform restricted Boltzmann machines (4.4% error rate vs. 5%), they are more robust to overfitting, and tend to learn sparser representations. SSMs are remarkably robust to weight pruning: removal of more than 80% of the weakest connections followed by cursory re-learning causes only a negligible performance loss on the MNIST task (4.8% error rate). These results show that SSMs offer substantial improvements in terms of performance, power and complexity over existing methods for unsupervised learning in spiking neural networks, and are thus promising models for machine learning in neuromorphic execution platforms.

研究の動機と目的

• 生体に即した、エネルギー効率の高いスパikingニューラルネットワークにおける非教師あり学習のための手法を開発すること。その際、シナプスの不安定性を確率的性質の源として用いる。
• 計算量とメモリのオーバーヘッドを最小限に抑える学習ルールを設計し、確率的ネットワークにおける生成的モデリングを可能にすること。
• 標準ベンチマークタスク（例：MNIST分類）におけるモデルの性能と耐性を評価すること。
• シナプスの不安定性がDropConnectに類似した正則化子として機能し、一般化性能と表現のスパarsityを向上させる可能性を調査すること。

提案手法

• SSMは、確率的性質がシナプス接続にランダムなバイナリマスクを適用することで生じるホフスタッドネットワークの確率的同等物として定式化される。
• シナプス可塑性は、イベント駆動型の対照的勾配降下ルールにより実装され、計算コストを最小限に抑えたオンライン学習を可能にする。
• モデルは、入力データの分布とモデル分布との差を最小化するようにシナプス重みを調整することで、データの生成的表現を学習する。
• 各シナプスが重みに応じた確率でスパイクを送信するサンプリング機構を用い、制御された確率的性質を導入する。
• 学習ルールは、モデル下でのデータの対数尤度の勾配から導出され、スパイク動的特性およびイベント駆動型更新に適応されている。
• ネットワークは、生成的目的関数に基づきMNISTデータセット上でエンドツーエンドに訓練され、訓練後には推論および認識タスクの評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 シナプスの不安定性は、ニューラルネットワークにおけるサンプリングベースの学習のための効果的かつ効率的な確率的性質の源として機能できるか？
• RQ2 標準ベンチマークタスクにおいて、従来の生成的モデル（例：制限付きボルツマンマシン）と比較してSSMはどの程度の性能を示すか？
• RQ3 SSMは極端な重みプルーニングに対してどの程度一般化可能であり、最小限の再訓練で性能を維持できるか？
• RQ4 学習中にシナプスの不安定性が正則化子として機能し、一般化性能と表現のスパarsityを向上させるか？

主な発見

• SSMはMNISTの数字認識タスクで4.4%の誤差率を達成し、5%の誤差率を報告する制限付きボルツマンマシンを上回る性能を示した。
• SSMは過学習に対して優れた耐性を示し、ベースラインモデルと比較してスプライスな表現を学習した。
• 最も弱いシナプス接続を80%以上削除した後でも、SSMはわずかな性能低下にとどまり、軽微な再学習で4.8%の誤差率を達成した。
• モデルがシナプスの不安定性に依存しているため、神経モルフィックハードウェアへの効率的な実装が可能となり、消費電力と複雑性が低減される。
• イベント駆動型学習ルールにより、低遅延でオンライン学習が可能となり、計算オーバーヘッドが最小限に抑えられる。
• シナプスの不安定性によって誘発される確率的性質は正則化子として機能し、一般化性能の向上とスパースな特徴学習の促進に寄与する。