[論文レビュー] Universality and individuality in neural dynamics across large populations of recurrent networks

Niru Maheswaranathan, Alex H. Williams+3 more|PubMed|Jul 19, 2019

Functional Brain Connectivity Studies参考文献 55被引用数 39

ひとこと要約

この論文はRNNダイナミクスがアーキテクチャ間でどのように変化するかを検討し、表現幾何学はアーキテクチャに依存する一方、固定点と線形化ダイナミクスの位相構造は同じタスクを解くモデル間でより普遍的であることを示す。

ABSTRACT

Task-based modeling with recurrent neural networks (RNNs) has emerged as a popular way to infer the computational function of different brain regions. These models are quantitatively assessed by comparing the low-dimensional neural representations of the model with the brain, for example using canonical correlation analysis (CCA). However, the nature of the detailed neurobiological inferences one can draw from such efforts remains elusive. For example, to what extent does training neural networks to solve common tasks uniquely determine the network dynamics, independent of modeling architectural choices? Or alternatively, are the learned dynamics highly sensitive to different model choices? Knowing the answer to these questions has strong implications for whether and how we should use task-based RNN modeling to understand brain dynamics. To address these foundational questions, we study populations of thousands of networks, with commonly used RNN architectures, trained to solve neuroscientifically motivated tasks and characterize their nonlinear dynamics. We find the geometry of the RNN representations can be highly sensitive to different network architectures, yielding a cautionary tale for measures of similarity that rely on representational geometry, such as CCA. Moreover, we find that while the geometry of neural dynamics can vary greatly across architectures, the underlying computational scaffold-the topological structure of fixed points, transitions between them, limit cycles, and linearized dynamics-often appears universal across all architectures.

研究の動機と目的

• タスクに基づくRNNモデリングが異なるアーキテクチャ間で脳ダイナミクスにどのように関連するかを動機づける。
• 神経科学に着想を得たタスクを解くRNNアーキテクチャ間で表現幾何学とダイナミクスの位相がどのように異なるかを定量化する。
• 普遍的なダイナミクス特性とアーキテクチャ特有の特性を識別する。
• 単純な表現類似性測度を超えてRNNダイナミクスを比較する方法を提供する。

提案手法

• 4つのアーキテクチャ（Vanilla、UGRNN、GRU、LSTM）をreluまたはtanh活性化、さまざまなサイズ、正則化で数千個のRNNを訓練する。
• ニューロサイエンスに触発したタスク（3-bit memory、sine wave generation、context-dependent integration）を用いて多様なダイナミクスを誘発する。
• SVCCAとCKAを用いて表現の幾何に焦点を当て、表現の類似度を評価する。
• 固定点、安定性、固定点周りの線形化ダイナミクスを用いてダイナミクスを分析する。
• 遷移確率から固定点グラフを構築し、計算の位相を定量化する。
• SVCCAまたは固定点の位相に基づくネットワーク間の非類似性を視覚化するために多次元尺度法（MDS）を使用する。

実験結果

リサーチクエスチョン

• RQ1 同じタスクを解く際に、ニューラル表現の幾何はRNNアーキテクチャと活性化関数によってどのように変化するか？
• RQ2 異なるアーキテクチャが同じタスクを解く場合、固定点・極限サイクル・線形化ダイナミクスなどの普遍的なダイナミクス構造は存在するか？
• RQ3 訓練済みネットワークのアーキテクチャや活性化関数が異なっても、表現幾何と機能的類似性は一致するか？
• RQ4 固定点の位相はアーキテクチャ間で普遍的な計算を提供するか？
• RQ5 SVCCA/CKAのような表現類似性指標をアーキテクチャ横断で比較する際の注意点は何か？

主な発見

• 表現幾何はアーキテクチャと活性化関数に高度に敏感である。
• 固定点の位相と固定点周りの線形化ダイナミクスはアーキテクチャ間でより普遍性を示す。
• 同じ非線形性を持つネットワーク同士は、異なる非線形性を持つネットワークよりも類似している場合があり、SVCCA/CKAの限界を示唆する。
• タスクをまたいで、ほとんどのアーキテクチャは固定点と直線的アトラクターの観点で質的に似たダイナミクス解に収束する。
• ゲート付きアーキテクチャは統合に使用される線形モードの次元に違いがあり、普遍的な枠組みの中でアーキテクチャ特有の戦略を示す。
• トポロジー分析（固定点グラフ）は幾何ベースの測度よりもアーキテクチャ間の均一性を示す。