[論文レビュー] Symphony from Synapses: Neocortex as a Universal Dynamical Systems Modeller using Hierarchical Temporal Memory

Fergal Byrne|arXiv (Cornell University)|Dec 16, 2015

Neural dynamics and brain function参考文献 28被引用数 3

ひとこと要約

本論文は、階層的時系列記憶（HTM）を活用して、自己組織的かつ相互接続された力学的システムを通じて、外部および内部環境の力学的挙動を内因的に計算・表現することにより、新皮質が普遍的力学的システムモデルラーとして機能すると提案する。ハーグインズのHTMを新皮質の全6層にまで拡張することで、信号に基づく推論と予測異常を介した力学的システムの内因的モデリングが可能となり、バックプロパゲーションに依存する深層学習とは対照的に生物学的に妥当な代替手法を提供する。

ABSTRACT

Reverse engineering the brain is proving difficult, perhaps impossible. While many believe that this is just a matter of time and effort, a different approach might help. Here, we describe a very simple idea which explains the power of the brain as well as its structure, exploiting complex dynamics rather than abstracting it away. Just as a Turing Machine is a Universal Digital Computer operating in a world of symbols, we propose that the brain is a Universal Dynamical Systems Modeller, evolved bottom-up (itself using nested networks of interconnected, self-organised dynamical systems) to prosper in a world of dynamical systems. Recent progress in Applied Mathematics has produced startling evidence of what happens when abstract Dynamical Systems interact. Key latent information describing system A can be extracted by system B from very simple signals, and signals can be used by one system to control and manipulate others. Using these facts, we show how a region of the neocortex uses its dynamics to intrinsically "compute" about the external and internal world. Building on an existing "static" model of cortical computation (Hawkins' Hierarchical Temporal Memory - HTM), we describe how a region of neocortex can be viewed as a network of components which together form a Dynamical Systems modelling module, connected via sensory and motor pathways to the external world, and forming part of a larger dynamical network in the brain. Empirical modelling and simulations of Dynamical HTM are possible with simple extensions and combinations of currently existing open source software. We list a number of relevant projects.

研究の動機と目的

• 新皮質を記号処理装置ではなく、抽象的計算ではなく複雑な力学的挙動を扱う普遍的モデラーとして再定式化すること。
• ハーグインズの階層的時系列記憶（HTM）モデルを、全6層の新皮質にまで拡張し、静的空間的スナップショットを超えて時間的力学的挙動をモデル化すること。
• 内因的神経力学が信号相互作用を通じて潜在的情報を抽出し、力学的システム制御を可能にする仕組みを、力学的システム理論にインspiredして示すこと。
• 表現-予測異常を介した予測ベースで誤差駆動型学習を用いることで、バックプロパゲーションに依存しない生物学的に妥当な代替手法を提供すること。
• 時間的整合性と非定常性を、バッチ処理や勾配消失の問題を避けるベクトルベースの多層HTMフレームワークを用いて効率的にモデリングできることを示すこと。

提案手法

• HTMから拡張された皮質学習アルゴリズム（CLA）を用い、新皮質の全6層をモデル化することで、時間的系列とシステム状態の動的表現を可能にする。
• 力学的システム間の信号ベースの相互作用を用いて、力学的システム理論の結果を基に、入力から潜在的因果パラメータを抽出する。
• 表現-予測異常を段階的に符号化することで、層間および領域間の通信を実現し、内部動的挙動の安定化を図る。
• 神経集団が力学的システム挙動をどのように符号化・予測するかを形式化するために、ベクトルベースの数学的記述を採用する。
• タケンの定理およびカオス理論の結果を活用し、時系列信号から力学的システムを再構成できることを示し、内因的モデリングを可能にする。
• オープンソースのソフトウェアツールを用いて動的HTMモデルのシミュレーションと実証的検証を実施し、バックプロパゲーションやバッチ処理に依存しない。

実験結果

リサーチクエスチョン

• RQ1 新皮質は、記号的・論理的計算に依存せずに、複雑で時間的に変化するシステムの力学的挙動をどのようにモデル化・予測できるか？
• RQ2 予測誤差と表現異常は、皮質動的挙動の安定化と適応的行動の実現にどのような役割を果たすか？
• RQ3 階層的時系列記憶を全6層にまで拡張することで、静的空間的スナップショットではなく時間的力学的挙動をどのようにモデル化できるか？
• RQ4 力学的システム間の信号相互作用は、一方のシステムが他方の挙動をどのように推論・制御可能にするか？
• RQ5 内因的力学に基づく生物学的に妥当な学習メカニズムは、時間的整合性と非定常性のモデリングにおいて、バックプロパゲーションに依存する深層学習を凌駆できるか？

主な発見

• 新皮質は、記号処理やバックプロパゲーションではなく、内因的力学と信号に基づく推論を活用することで、普遍的力学的システムモデルラーとして機能しうる。
• HTMを全6層にまで拡張することで、時間的に変化する力学的システムの因果パラメータ、特に非定常性を表現・予測可能となる。
• 層間における表現-予測異常符号化により、内部動的挙動が安定化され、生物的システムにおける自己組織的プロセスを模倣した一貫性ある行動が実現される。
• バッチ処理や勾配消失、時間順序のランダマイズといった深層学習の一般的な問題を回避し、内因的かつ連続的動的挙動に依存することで、フレームワークが実現される。
• 既存のオープンソースツールを用いた実証的モデリングとシミュレーションが可能であり、理論的枠組みの検証が可能となる。
• カップルド力学的システムの観点から、言語、運動制御、社会的相互作用といった認知現象を包括的かつ簡潔に説明できる。