[論文レビュー] Porting HTM Models to the Heidelberg Neuromorphic Computing Platform

Sebastian Billaudelle, Subutai Ahmad|arXiv (Cornell University)|May 8, 2015

Advanced Memory and Neural Computing参考文献 8被引用数 13

ひとこと要約

本論文は、ヘイデルベルク神経形状コンピューティングプラットフォーム（HMF）に、階層的時系列記憶（HTM）モデル——特に空間プールと時系列記憶——を初めて実装した。スパイク出力ニューロンモデルをAdExダイナミクスに基づいて用い、コアとなるHTM機能が神経形状ハードウェアシミュレーションでも保持されることを示したが、標準のスパイク時刻依存可塑性（STDP）の制限により、完全な可塑性ルールの実装は依然として困難である。

ABSTRACT

Hierarchical Temporal Memory (HTM) is a computational theory of machine intelligence based on a detailed study of the neocortex. The Heidelberg Neuromorphic Computing Platform, developed as part of the Human Brain Project (HBP), is a mixed-signal (analog and digital) large-scale platform for modeling networks of spiking neurons. In this paper we present the first effort in porting HTM networks to this platform. We describe a framework for simulating key HTM operations using spiking network models. We then describe specific spatial pooling and temporal memory implementations, as well as simulations demonstrating that the fundamental properties are maintained. We discuss issues in implementing the full set of plasticity rules using Spike-Timing Dependent Plasticity (STDP), and rough place and route calculations. Although further work is required, our initial studies indicate that it should be possible to run large-scale HTM networks (including plasticity rules) efficiently on the Heidelberg platform. More generally the exercise of porting high level HTM algorithms to biophysical neuron models promises to be a fruitful area of investigation for future studies.

研究の動機と目的

• 生物にインspiredされたスパイクニューロンモデルを用いて、ヘイデルベルク神経形状コンピューティングプラットフォーム（HMF）上に、空間プールと時系列記憶という主要なHTMアルゴリズムを実装・検証すること。
• 接続性、ルーティング、リソース制約を考慮した場合に、大規模HTMネットワークをHMFのミックスドシグナル神経形状ハードウェアにマッピングする可能性を評価すること。
• HMFのネイティブSTDPメカニズムを用いてHTMの完全な学習ルールを実装する際の課題を調査すること。
• トランジスタの不一致やプロセス変動に起因するハードウェア由来の変動に対して、ネットワークの頑健性を評価し、キャリブレーションと耐性戦略を検討すること。

提案手法

• HMFプラットフォーム上で動的シミュレーションを実行する統合・発火AdExニューロンを用いて、HTM動作をシミュレートするフレームワークを開発した。
• 空間プールと時系列記憶をスパイクニューラルネットワークモデルとして実装し、柱状活動のスパarsityを約2%に制限するとともに、柱状バースト行動を維持した。
• ハイブリッドミックスドシグナルアーキテクチャを採用：アナログニューロン回路で計算を実行し、デジタルインターコネクトで通信を実現。HICANNウェーバスケールチップを活用した。
• 標準STDPではHTM学習ルールを再現できないため、カスタム可塑性ルールの実装にPPU（プロセッシング＆プログラミングユニット）マイクロプロセッサを用いた。
• ハードウェア変動およびプロセス由来の不一致に対する耐性をテストするため、パラメータをランダム化したモンテカルロシミュレーションを実施した。
• ネットワークモデルをHMFウェーバトポロジーにマップ・ルーティングする分析を実施し、最大1024本の柱を想定した場合のシナプス損失とスケーラビリティを推定した。

実験結果

リサーチクエスチョン

• RQ1 HMFプラットフォーム上でのスパイクニューロンモデルを用いて、空間プールと時系列記憶というコアHTM機能を正確にエミュレートできるか？
• RQ2 HMFのネイティブSTDPメカニズムは、特に遠位性 dendritic 接続と予測状態遷移に関して、HTMの学習ルールをどの程度再現できるか？
• RQ3 特にシナプス接続性、ニューロン数、ウェーバーレベルのルーティングに関して、大規模HTMネットワークをマッピングする際のハードウェア制限は何か？
• RQ4 トランジスタの不一致やプロセスフラクチュエーションに起因するハードウェア由来の変動に対して、シミュレートされたHTMネットワークはどの程度頑健か？
• RQ5 PPUは、HTM固有の学習アルゴリズムをサポートするため、HMFの可塑性能力を拡張する上で果たす役割は何か？

主な発見

• AdExスパイクニューロンモデルを用いた空間プールと時系列記憶のエミュレーションに成功し、スパースな柱状活動（約2%のスパarsity）、柱状バースト、予測状態遷移といった重要な特性が維持された。
• シミュレーションにより、HMFは1024柱（1柱あたり8細胞）の最小限の有用なHTMネットワークを約6枚のウェーバーでサポートでき、約100万のシナプス膜回路と1細胞あたり約32,000のアフェント接続を実現可能であることが示された。
• 時系列記憶ネットワークは、すべての側面間接続（すべての接続）を想定した100%の潜在プール条件下でも、1枚のウェーバーにマッピング可能であり、シナプス損失なしに実現可能であった。
• 標準STDPではHTMの完全な可塑性ルールを再現できず、正確な学習ルールマッピングのためにはPPUマイクロプロセッサによるカスタム実装が不可欠であった。
• パラメータをランダム化したモンテカルロシミュレーションによる頑健性テストの結果、空間的および試行ごとの変動に耐性があることが確認され、アナログ神経形状基板上での信頼性を裏付けた。
• 今後のHMFのマルチコンパートメントニューロンサポートにより、HTMの生物学的双極性シナプスモデルへの適合性が向上し、元のHTMホワイトペーパーとのより密接な整合性が達成可能になると予想される。