[論文レビュー] Emergence of functional and structural properties of the head direction system by optimization of recurrent neural networks

Christopher J. Cueva, Peter Y. Wang+2 more|arXiv (Cornell University)|Dec 21, 2019

Neural dynamics and brain function参考文献 59被引用数 26

ひとこと要約

本研究では、回帰的ニューラルネットワーク（RNN）を角速度の統合に訓練することで、生物学的に現実的な機能的および構造的特性——特にコンパス細胞とシフトャー細胞——が自発的に出現することを示している。また、その接続パターンやダイナミクスは、ネズミやシロツメムシの頭部方向系に類似している。確率的勾配降下による最適化により、事前のアーキテクチャ制約なしに、神経活動と解剖的組織構造の両方を再現するネットワークが得られた。

ABSTRACT

Recent work suggests goal-driven training of neural networks can be used to model neural activity in the brain. While response properties of neurons in artificial neural networks bear similarities to those in the brain, the network architectures are often constrained to be different. Here we ask if a neural network can recover both neural representations and, if the architecture is unconstrained and optimized, the anatomical properties of neural circuits. We demonstrate this in a system where the connectivity and the functional organization have been characterized, namely, the head direction circuits of the rodent and fruit fly. We trained recurrent neural networks (RNNs) to estimate head direction through integration of angular velocity. We found that the two distinct classes of neurons observed in the head direction system, the Compass neurons and the Shifter neurons, emerged naturally in artificial neural networks as a result of training. Furthermore, connectivity analysis and in-silico neurophysiology revealed structural and mechanistic similarities between artificial networks and the head direction system. Overall, our results show that optimization of RNNs in a goal-driven task can recapitulate the structure and function of biological circuits, suggesting that artificial neural networks can be used to study the brain at the level of both neural activity and anatomical organization.

研究の動機と目的

• 目的駆動型の制約のないRNNの訓練が、生物学的ニューラル回路の機能的および構造的特性を回復できるかどうかを調査すること。
• 単純な角速度統合タスクに訓練された人工ニューラルネットワークが、ネズミやシロツメムシの頭部方向系で観察された神経応答特性を再現できるかどうかを特定すること。
• 訓練済みRNNの接続パターンおよびダイナミクスが、特にアトラクタダイナミクスとネットワーク組織の観点から、実際の脳回路に類似しているかどうかを調査すること。
• 確率的勾配降下による最適化が、事前のアーキテクチャバイアスなしに、専門化したニューロンタイプ（コンパス細胞およびシフトャー細胞）のような特徴を生じさせるかどうかを評価すること。
• タスク最適化された人工ネットワークを用いて、機能的、構造的、機構的レベルの神経回路モデリングのフレームワークを提供すること。

提案手法

• 100ユニットの連続時間RNNを、角速度の統合による頭部方向推定に訓練した。初期化はランダムで、自己結合はなし。
• 標準的なRNNダイナミクス方程式を用い、整流tanh非線形性、ノイズ項、およびトレーニングされた再帰的および入力重み行列を含む。
• 初期頭部方向（正弦およびコサインで符号化）と角速度（反時計回りは正、時計回りは負）を入力とし、2つの線形リードアウトニューロンが推定頭部方向を出力した。
• ネットワークダイナミクスを調査し、頭部方向の安定な表現を示すアトラクタ的挙動を同定するために、摂動解析と固定点解析を実施した。
• 人工ネットワークの構造と機能を生物学的頭部方向系と比較するために、接続性およびインシリコ神経生理学的解析を実施した。
• 訓練中にアーキテクチャ的制約を回避し、ネットワーク組織の出現をタスク最適化にのみ依存させた。

実験結果

リサーチクエスチョン

• RQ1 目的駆動型の制約のないRNNの訓練が、生物学的頭部方向系に観察されるコンパス細胞やシフトャー細胞といった機能的ニューロンタイプの出現を引き起こせるか？
• RQ2 訓練済みRNNの接続パターンおよびダイナミカル特性が、ネズミやシロツメムシの生物学的頭部方向回路に類似しているか？
• RQ3 確率的勾配降下による最適化が、実際の神経回路の解剖的および機能的組織構造を模倣するネットワークアーキテクチャをどの程度生じさせるか？
• RQ4 異なる入力統計が、訓練済みRNNにおける神経表現およびネットワーク構造にどのように影響を与えるか？
• RQ5 単純な統合タスクに訓練された人工ニューラルネットワークが、よく特徴づけられた生物学的神経回路の機能的活動と構造的レイアウトの両方を再現できるか？

主な発見

• 生物学的頭部方向系の主要な機能的クラスであるコンパス細胞およびシフトャー細胞は、アーキテクチャバイアスなしに訓練済みRNN内で自然に出現した。
• 接続性解析により、人工ネットワークと生物学的頭部方向系との間で構造的類似性が確認され、既知の回路モチーフに一致する再帰的接続パターンが得られた。
• インシリコ神経生理学的解析により、RNNがアトラクタダイナミクスを示し、時間の経過に伴って頭部方向の安定で連続的な表現をサポートしていることが判明した。
• ネットワークの機能的組織、特に頭部方向と角速度の両方に整合的に応答する特性は、訓練後のみに出現し、ランダム初期化されたネットワークでは観察されなかった。
• 固定点解析により、RNNにアトラクタダイナミクスの証拠が得られ、時間的になめらかに角速度を統合するメカニズムが示唆された。
• 異なる入力統計は、異なるネットワークアーキテクチャをもたらした。これは、最適なネットワーク構造がタスク要件に依存することを示しており、手作業で設計されたモデルでは予測が難しい性質である。