[論文レビュー] A Neuromorphic Paradigm for Online Unsupervised Clustering

James E. Smith|arXiv (Cornell University)|Apr 25, 2020

Advanced Memory and Neural Computing参考文献 56被引用数 4

ひとこと要約

この論文は、神経科学的原則を模倣した、時間的符号化、興奮性ニューロン、勝者赴き抑制、スパイク時刻依存可塑性（STDP）を備えた認知カラムを用いた、オンライン非教師ありクラスタリングの神経モルフィック計算パラダイムを提案している。局所的で効率的な学習が可能であり、シミュレーションでは半人工的ベンチマークでk-meansと同等の性能を示し、ストリーミングデータへの動的適応とリアルタイムでの頑健なクラスタリングを実証した。

ABSTRACT

A computational paradigm based on neuroscientific concepts is proposed and shown to be capable of online unsupervised clustering. Because it is an online method, it is readily amenable to streaming realtime applications and is capable of dynamically adjusting to macro-level input changes. All operations, both training and inference, are localized and efficient. The paradigm is implemented as a cognitive column that incorporates five key elements: 1) temporal coding, 2) an excitatory neuron model for inference, 3) winner-take-all inhibition, 4) a column architecture that combines excitation and inhibition, 5) localized training via spike timing de-pendent plasticity (STDP). These elements are described and discussed, and a prototype column is given. The prototype column is simulated with a semi-synthetic benchmark and is shown to have performance characteristics on par with classic k-means. Simulations reveal the inner operation and capabilities of the column with emphasis on excitatory neuron response functions and STDP implementations.

研究の動機と目的

• リアルタイムのストリーミングデータに適した生物学的インスピレーションを受けて設計されたオンライン非教師ありクラスタリング手法の開発。
• 局所的で段階的な学習を通じて、入力のマクロレベルの変化に動的に適応できる仕組みの実現。
• 神経科学的原則を統合した効率的なトレーニングと推論が可能な認知カラムアーキテクチャの実装。
• 半人工的ベンチマークを用いて、古典的k-meansと比較して競争力のあるクラスタリング性能を実証すること。
• STDPと時間的符号化が、頑健でオンラインのクラスタリングを可能にする役割を検証すること。

提案手法

• このパラダイムは、時間的符号化、興奮性ニューロンの推論、勝者赴き抑制、カラムレベルの興奮性・抑制性統合、局所的STDPに基づくトレーニングの5つの主要要素を統合した認知カラムとして実装されている。
• 時間的符号化は、入力特徴をスパイクのタイミングに符号化することで、連続的なデータストリームの効率的表現を可能にする。
• 興奮性ニューロンはスパイク入力に基づいて活性を計算し、時間的パターンと入力周波数に合わせて応答が調整される。
• 勝者赴き抑制により、ニューロン間でスパarselyかつ重複のない活性が確保され、明確なクラスタ表現が促進される。
• スパイク時刻依存可塑性（STDP）により、事前および事後のスパイクタイミングに基づいたオンラインでの重み更新が可能となり、再トレーニングなしに継続的な学習が実現できる。
• システム全体は局所的でイベント駆動の形で動作し、計算オーバーヘッドを最小限に抑え、リアルタイムでの展開を可能にする。

実験結果

リサーチクエスチョン

• RQ1 神経科学的原則に基づく神経モルフィックシステムは、オンラインでストリーミング環境下において、競争力のある非教師ありクラスタリング性能を達成できるか？
• RQ2 時間的符号化とSTDPは、動的入力環境下で安定的かつ明確なクラスタの形成にどのように寄与するか？
• RQ3 認知カラムアーキテクチャは、中央集権的な調整なしに、どの程度効率的で局所的な学習を可能にするか？
• RQ4 システムは時間の経過とともに入力分布のマクロレベルの変化にどの程度適応するか？
• RQ5 提案されたパラダイムは、オンラインクラスタリングタスクにおいて、古典的k-meansと同等か、それ以上の性能を示すか？

主な発見

• 神経モルフィッククラスタリングパラダイムは、半人工的ベンチマークにおいて古典的k-meansと同等の性能を達成し、その有効性を検証した。
• システムはマクロレベルの入力変化に動的に適応でき、データ分布のシフト時でもクラスタの安定性を維持した。
• シミュレーションにより、興奮性ニューロンの応答関数が入力タイミングと周波数に敏感であることが確認され、頑健な特徴符号化が可能であることが示された。
• STDPに基づくトレーニングにより、局所的重み更新を伴う継続的かつ段階的な学習が可能となり、リアルタイム展開が可能である。
• 認知カラムアーキテクチャは、興奮と抑制の統合に成功し、クラスタリングに適したスパarselyかつ重複のない活性パターンを生成した。
• オンラインで局所的かつイベント駆動の性質を有するため、計算的に効率的であり、ストリーミングおよびリアルタイム応用に非常に適している。