[論文レビュー] Neuromorphic hardware as a self-organizing computing system

Lyes Khacef, Bernard Girau+3 more|arXiv (Cornell University)|Oct 30, 2018

Advanced Memory and Neural Computing被引用数 10

ひとこと要約

本稿では、デジタルスパイクニューロンとシナプスプリーニングに準拠したハードウェアを用いて、自己組織化を実現する神経形状ハードウェアアーキテクチャであるSOMAを提案する。入力データの密度に応じてネットワークトポロジーを動的に再構成することにより、通信コストと量子化誤差を低減し、FPGAを用いたプロトタイピングにより、分散型・非中央集権的システムにおける適応性と効率性の向上を示している。

ABSTRACT

This paper presents the self-organized neuromorphic architecture named SOMA. The objective is to study neural-based self-organization in computing systems and to prove the feasibility of a self-organizing hardware structure. Considering that these properties emerge from large scale and fully connected neural maps, we will focus on the definition of a self-organizing hardware architecture based on digital spiking neurons that offer hardware efficiency. From a biological point of view, this corresponds to a combination of the so-called synaptic and structural plasticities. We intend to define computational models able to simultaneously self-organize at both computation and communication levels, and we want these models to be hardware-compliant, fault tolerant and scalable by means of a neuro-cellular structure.

研究の動機と目的

• 皮質可塑性にインspiredした自己組織的計算基盤の開発。ハードウェアに統合されたシナプス可塑性および構造的可塑性の統合。
• 神経細胞設計原理に基づき、ハードウェア準拠で分散型かつスケーラブルな計算を実現する。
• 動的ネットワークトポロジー適応により、動的で分散型システムにおける通信オーバーヘッドを低減し、計算効率を向上させる。
• 入力データ分布に基づいて自己組織化する再構成可能な神経形状システムのFPGAプロトタイピング。
• 低相関性を示す側部接続の動的プリーニングを通じて、耐障害性とスケーラビリティを実証する。

提案手法

• 自己組織化をモデル化するため、デジタルスパイクニューロンに基づく動的側部接続ニューラルマップを採用する。
• ニューロン活性の低相関性と高い重みベクタ距離に基づき、プリーニングレート $w$ に従ってシナプスプリーニングを適用する。
• 活性が相関が低いニューロン間の接続をプリーニングすることで、冗長な通信を低減する。
• ノード間通信にHERMESルーティングアーキテクチャを用いたFPGAベースのNoC（On-Chip Network）上でシステムを実装する。
• 個々のデータタイプごとにマップを設け、モダリティ統合のための上位レベルマップを有する階層的ニューラルマップ構造を提案する。
• 自己組織化レイヤーが、データ特性に応じて分散的にノードの割り当てを調整し、計算レイヤーの再構成を実行する。

実験結果

リサーチクエスチョン

• RQ1 神経形状ハードウェアシステムは、シナプスプリーニングと構造的可塑性をハードウェア準拠で用いて、自己組織化を達成できるか？
• RQ2 動的ネットワークトポロジー適応は、分散コンピューティングシステムにおける通信コストをどのように低減できるか？
• RQ3 シナプスプリーニングは、変化するデータ分布に応じて、量子化精度とシステム効率をどの程度向上させるか？
• RQ4 非中央集権的で自己組織化可能なメカニズムは、中央集権的制御なしにタスクの割り当てとハードウェア再構成を調整できるか？
• RQ5 神経可塑性の原則の統合は、再構成可能ハードウェアにおける耐障害性とスケーラビリティをどのように向上させるか？

主な発見

• 提案されたプリーニング機構により、冗長な側部接続が効果的に削除され、ネットワーク効率が向上し、通信オーバーヘッドが低減した。
• さまざまなプリーニングレートにおいて量子化誤差が低減した。$w \neq 0$ の設定では、静的構成と比較して顕著な性能向上が観察された。
• システムはランダムなデータに動的に適応し、トポロジー再構成により、到着する刺激の確率密度関数を効果的に適合させた。
• 自己組織化レイヤーにより、ノードの分散的協調が可能となり、入力データを適切な処理ユニットに自律的に割り当てられるようになった。
• 予備的な結果から、低ニューロン相関性と高い重みベクタ距離に基づくプリーニングが、非情報的シナプスを効果的に同定・削除できることを確認した。
• 細胞コンピューティングと神経自己組織化原理を統合することで、スケーラブルで耐障害性があり、分散型の計算が実現された。