[論文レビュー] Conformal Isometry of Lie Group Representation in Recurrent Network of Grid Cells

Dehong Xu, Ruiqi Gao+3 more|arXiv (Cornell University)|Oct 6, 2022

Topological and Geometric Data Analysis被引用数 9

ひとこと要約

本稿では、自己移動のリーマン的表現における共形等長性を強制する非線形再帰型ニューラルネットワークモデルを提案し、正確なパス統合とヘキサゴナル放電パターンの出現を可能にする。このモデルは最小限の誤差で頑健かつ長距離にわたるパス統合を達成し、共形等長性が再帰的ネットワークにおける生物学的に妥当なグリッドコードを生成するために極めて重要であることを示している。

ABSTRACT

The activity of the grid cell population in the medial entorhinal cortex (MEC) of the mammalian brain forms a vector representation of the self-position of the animal. Recurrent neural networks have been proposed to explain the properties of the grid cells by updating the neural activity vector based on the velocity input of the animal. In doing so, the grid cell system effectively performs path integration. In this paper, we investigate the algebraic, geometric, and topological properties of grid cells using recurrent network models. Algebraically, we study the Lie group and Lie algebra of the recurrent transformation as a representation of self-motion. Geometrically, we study the conformal isometry of the Lie group representation where the local displacement of the activity vector in the neural space is proportional to the local displacement of the agent in the 2D physical space. Topologically, the compact abelian Lie group representation automatically leads to the torus topology commonly assumed and observed in neuroscience. We then focus on a simple non-linear recurrent model that underlies the continuous attractor neural networks of grid cells. Our numerical experiments show that conformal isometry leads to hexagon periodic patterns in the grid cell responses and our model is capable of accurate path integration. Code is available at \url{https://github.com/DehongXu/grid-cell-rnn}.

研究の動機と目的

• 再帰的ニューラルネットワークモデルのグリッド細胞における代数的・幾何的・位相的性質を調査すること。
• 神経活動の変換における共形等長性がヘキサゴナルグリッドパターンの出現とどのように関係するかを明らかにすること。
• 非線形再帰的ネットワークが共形等長性の条件下で正確なパス統合を実現できるかどうかを評価すること。
• 従来の線形モデルを、バニラRNNやLSTMといったより生物学的に現実的な非線形アーキテクチャへ一般化すること。
• 長距離パス統合における誤差蓄積の補正に再符号化が果たす役割を評価すること。

提案手法

• 自己移動の表現を、速度入力に基づいて神経活動を更新する再帰的ニューラルネットワークとしてモデル化し、自己移動の表現を形成する。
• 神経空間の変換が物理的空間の変位に比例した局所的な幾何構造を保存するように、共形等長性を強制する。
• 入力速度に対して線形変換を適用し、その後に要素ごとのReLU非線形性を適用する非線形再帰的アーキテクチャ（バニラRNN）またはLSTMユニットを用いる。
• 実験的グリッド細胞マップに類似した構造的・周期的な応答を促進する損失関数を用いてモデルを学習する。
• 長距離パス統合タスクにおいて誤差蓄積を補正するために、数ステップごとに再符号化を適用する。
• 1000本の軌道を用いて、グリッド度スコア、復元誤差、軌道再構成精度を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 再帰的変換における共形等長性は、非線形再帰ネットワークにおいてヘキサゴナルグリッドパターンの出現を引き起こすか？
• RQ2 共形等長性を満たす非線形再帰モデルは、正確な長距離パス統合を達成できるか？
• RQ3 再符号化は、パス統合中の神経表現における誤差蓄積にどのように影響するか？
• RQ4 共形等長性とプレイス細胞モデルで観察される周波数ドメイン制約との関係は何か？
• RQ5 LSTMのような非線形モデルは、単純なRNNと比較してグリッドコードの幾何構造をどの程度保持するか？

主な発見

• 共形等長性の条件下で、グリッド細胞の応答マップにおいてヘキサゴナルグリッドパターンが成功裏に生成された。
• 20ステップごとに再符号化を適用した場合、500ステップの平均パス統合誤差は0.017であり、最終ステップでの誤差は0.028であった。
• 再符号化なしでは、500ステップの平均誤差は0.03、最終誤差は0.08に達し、誤差蓄積が顕著に観察された。
• LSTMベースのモデルはグリッド度スコア0.73を達成し、全ユニットの68.8%がグリッド細胞と分類された。
• 再符号化を適用したLSTMモデルの500ステップ間の平均復元誤差は0.027であり、500番目のステップでの誤差も低く0.037を維持した。
• 固定点テストでは、物理空間と神経空間間の符号化・復元誤差がほぼゼロ（<0.005）に抑えられ、正確な符号化と復元が確認された。