[論文レビュー] How do neurons operate on sparse distributed representations? A mathematical theory of sparsity, neurons and active dendrites

Subutai Ahmad, Jeff Hawkins|arXiv (Cornell University)|Jan 5, 2016

Neural dynamics and brain function参考文献 54被引用数 59

ひとこと要約

本論文は、皮質Pyramidalニューロンがアクティブな dendrite を用いて、高精度でスパース分散表現を検出する方法を説明する数学的モデルを提案する。スケーリング則を導出し、「ユニオン性質（union property）」を導入することで、dendriticセグメントにランダムに混合されたシナプスでさえも、頑健なパターン認識を可能にすることを示している。また、NMDAスパイクの閾値に関する予測値は、実験データと非常に近い一致を示している。

ABSTRACT

We propose a formal mathematical model for sparse representations and active dendrites in neocortex. Our model is inspired by recent experimental findings on active dendritic processing and NMDA spikes in pyramidal neurons. These experimental and modeling studies suggest that the basic unit of pattern memory in the neocortex is instantiated by small clusters of synapses operated on by localized non-linear dendritic processes. We derive a number of scaling laws that characterize the accuracy of such dendrites in detecting activation patterns in a neuronal population under adverse conditions. We introduce the union property which shows that synapses for multiple patterns can be randomly mixed together within a segment and still lead to highly accurate recognition. We describe simulation results that provide further insight into sparse representations as well as two primary results. First we show that pattern recognition by a neuron with active dendrites can be extremely accurate and robust with high dimensional sparse inputs even when using a tiny number of synapses to recognize large patterns. Second, equations representing recognition accuracy of a dendrite predict optimal NMDA spiking thresholds under a generous set of assumptions. The prediction tightly matches NMDA spiking thresholds measured in the literature. Our model matches many of the known properties of pyramidal neurons. As such the theory provides a mathematical framework for understanding the benefits and limits of sparse representations in cortical networks.

研究の動機と目的

• アクティブな dendriticコンpartments を用いたスパース分散表現の処理を、形式的な数学的モデルとして構築すること。
• スパースなシナプス入力のもとでも、皮質Pyramidalニューロンが高精度なパターン認識を実現する生物学的メカニズムを説明すること。
• ノイズや高次元入力といった悪条件下での認識精度を定量化するスケーリング則を導出すること。
• 複数の記憶パターンが、同じdendriticセグメントにランダムに混合されたシナプスによっても、干渉を受けることなく保存・認識可能かどうかを調査すること。
• 理論的制約に基づいて最適なNMDAスパイク閾値を予測し、それを実測値と比較すること。

提案手法

• スパース分散表現を、低活性率の高次元バイナリーベクトルとして形式化する。
• dendriticセグメントを、NMDAスパイクを介した同時性入力検出を行う非線形統合器としてモデル化する。
• 認識精度が入力のスパarsity、シナプス数、ノイズレベルにどのように依存するかを示す数学的スケーリング則を導出する。
• 「ユニオン性質（union property）」を導入し、複数のパターンが同じdendriticセグメントにランダムに混合されたシナプスによっても、性能劣化を伴わずに保存可能であることを示す。
• シミュレーションを用いて、さまざまな条件下での理論的予測の認識精度と頑健性を検証する。
• 検出精度と誤検出の制御のバランスを取る確率的フレームワークを用いて、最適なNMDAスパイク閾値を導出する。

実験結果

リサーチクエスチョン

• RQ1 限られたシナプス数を有する1つのニューロンが、大規模で高次元のスパースパターンをどのように高精度に認識できるのか？
• RQ2 ノイズやスパース入力の下でも、パターン認識の頑健性を支配する数学的原則は何か？
• RQ3 シナプスがランダムに混合されていても、同じdendriticセグメントに複数の記憶パターンを干渉なく保存・認識できるか？
• RQ4 現実的な制約下で認識精度を最大化する理論的最適閾値は何か？
• RQ5 アクティブなdendriticプロセスは、最小限のシナプスリソースで、どのように新皮質が効率的で信頼性の高いパターン認識を実現できるのか？

主な発見

• ユニオン性質により、シナプスがランダムに混合されていても、NMDAスパイクの非線形統合のおかげで、1つのdendriticセグメントに複数のパターンを高精度に認識できる。
• dendriticセグメントあたり10〜20個のシナプス程度でも認識精度が高く維持され、パターン検出の極めて高い効率性を示している。
• 理論的予測された最適なNMDAスパイク閾値は、複数の研究で実測された値と非常に近い一致を示しており、モデルの生物学的妥当性を裏付けている。
• 本モデルは、ノイズや高次元入力の下でも、スパース表現が高い識別性と頑健性を維持できる仕組みを説明している。
• 本モデルから導出されたスケーリング則は、スパarsity、ノイズ、シナプス密度の変動に応じた認識性能を正確に予測している。
• 本フレームワークは、Pyramidalニューロンの主要な特徴を統一的に説明しており、dendritic非線形性とスパースコーディング効率の両方をカバーしている。