[論文レビュー] ORGaNICs: A Theory of Working Memory in Brains and Machines

David J. Heeger, Wayne E. Mackey|arXiv (Cornell University)|Mar 16, 2018

Neural dynamics and brain function参考文献 106被引用数 3

ひとこと要約

ORGaNICsは、前頭前頭皮質および頂小頭皮質における作業記憶のダイナミクスを説明する、生物学的に妥当な再帰的ニューラル回路モデル—Oscillatory Recurrent Gated Neural Integrator Circuits—を提案する。長期間短期記憶（LSTM）ユニットを、視床皮質ループによるシャントインヒビションを介して生物学的に根拠のある枠組みに適合させることで、解析的に扱いやすく、動的に変化する情報符号化とリードアウトを可能にする。これは、脳と機械における標準的な計算フレームワークを提供する。

ABSTRACT

Working memory is a cognitive process that is responsible for temporarily holding and manipulating information. Most of the empirical neuroscience research on working memory has focused on measuring sustained activity in prefrontal cortex (PFC) and/or parietal cortex during simple delayed-response tasks, and most of the models of working memory have been based on neural integrators. But working memory means much more than just holding a piece of information online. We describe a new theory of working memory, based on a recurrent neural circuit that we call ORGaNICs (Oscillatory Recurrent GAted Neural Integrator Circuits). ORGaNICs are a variety of Long Short Term Memory units (LSTMs), imported from machine learning and artificial intelligence. ORGaNICs can be used to explain the complex dynamics of delay-period activity in prefrontal cortex (PFC) during a working memory task. The theory is analytically tractable so that we can characterize the dynamics, and the theory provides a means for reading out information from the dynamically varying responses at any point in time, in spite of the complex dynamics. ORGaNICs can be implemented with a biophysical (electrical circuit) model of pyramidal cells, combined with shunting inhibition via a thalamocortical loop. Although introduced as a computational theory of working memory, ORGaNICs are also applicable to models of sensory processing, motor preparation and motor control. ORGaNICs offer computational advantages compared to other varieties of LSTMs that are commonly used in AI applications. Consequently, ORGaNICs are a framework for canonical computation in brains and machines.

研究の動機と目的

• 持続的活動モデルを超えた、生物学的に妥当な作業記憶理論の構築を目的とする。
• 従来のニューラルインテグレータモデルが前頭前頭皮質における複雑な遅延期間ダイナミクスを説明できないという限界を克服することを目的とする。
• 単一の計算フレームワークで作業記憶、感覚処理、運動制御を統合することを目的とする。
• 時間変動するニューロン応答から情報を読み出すことが可能な、解析的に扱いやすいモデルの提供を目的とする。

提案手法

• ORGaNICsは、生物学的妥当性を高めたLSTMユニットの変種である。
• モデルは、一時的および持続的活動パターンをサポートするため、周期的再帰的ダイナミクスを用いる。
• 視床皮質ループを介したシャントインヒビションを組み込み、興奮を制御し、動的ゲーティングを可能にする。
• ピラミッド細胞およびシナプス統合の生物物理学的モデルを用いて回路を実装する。
• 理論的解析により、任意の時刻におけるニューロンダイナミクスと情報リードアウトの特徴付けが可能になる。
• 非定常なニューロン応答から、リアルタイムでの情報復元が可能になる。

実験結果

リサーチクエスチョン

• RQ1 生物学的に妥当なニューラル回路を用いて、複雑で時間変動する活動パターンを示す作業記憶をどのようにモデル化できるか？
• RQ2 作業記憶タスク中に前頭前頭皮質で、動的情報符号化とリードアウトを可能にするメカニズムは何か？
• RQ3 LSTMに類似したユニットを、既知の皮質マイクロサーキュイトおよびバイオフィジックスに適合させるにはどうすればよいか？
• RQ4 単一の計算フレームワークで作業記憶、感覚処理、運動制御を説明できるか？
• RQ5 ORGaNICsは、神経科学的およびAIアプリケーションにおいて、標準LSTMに比べてどのような利点を提供するか？

主な発見

• ORGaNICsは、作業記憶タスク中に前頭前頭皮質で観察された複雑な遅延期間活動パターンを正確に再現した。
• モデルは、一時的および周期的応答を含むニューロンダイナミクスの解析的に扱いやすい特徴付けを可能にした。
• 非定常な活動でさえも、時間の経過にかかわらず、動的に変化するニューロン応答から情報が任意の時点でリードアウト可能である。
• フレームワークは、作業記憶、感覚処理、運動制御という複数の認知機能を統一されたアーキテクチャ内でサポートする。
• 解釈可能性および計算効率の面で、標準LSTMの代替手段として生物学的に根拠のある選択肢を提供する。