[論文レビュー] Beyond Geometry: Comparing the Temporal Structure of Computation in Neural Circuits with Dynamical Similarity Analysis

Mitchell Ostrow, Adam Eisen+2 more|arXiv (Cornell University)|Jun 16, 2023

Neural dynamics and brain function被引用数 8

ひとこと要約

本論文は Dynamical Similarity Analysis (DSA) を提案します。これは Koopman 埋め込みと新規のベクトル場 Procrustes 指標を用いて、幾何的な類似性が失敗する点を超えて、ダイナミクスのレベルで神経系を比較するデータ駆動手法です。ダイナミカル等価性を示します。

ABSTRACT

How can we tell whether two neural networks utilize the same internal processes for a particular computation? This question is pertinent for multiple subfields of neuroscience and machine learning, including neuroAI, mechanistic interpretability, and brain-machine interfaces. Standard approaches for comparing neural networks focus on the spatial geometry of latent states. Yet in recurrent networks, computations are implemented at the level of dynamics, and two networks performing the same computation with equivalent dynamics need not exhibit the same geometry. To bridge this gap, we introduce a novel similarity metric that compares two systems at the level of their dynamics, called Dynamical Similarity Analysis (DSA). Our method incorporates two components: Using recent advances in data-driven dynamical systems theory, we learn a high-dimensional linear system that accurately captures core features of the original nonlinear dynamics. Next, we compare different systems passed through this embedding using a novel extension of Procrustes Analysis that accounts for how vector fields change under orthogonal transformation. In four case studies, we demonstrate that our method disentangles conjugate and non-conjugate recurrent neural networks (RNNs), while geometric methods fall short. We additionally show that our method can distinguish learning rules in an unsupervised manner. Our method opens the door to comparative analyses of the essential temporal structure of computation in neural circuits.

研究の動機と目的

• ダイナミクスのレベルで神経計算を比較する必要性を、幾何学ではなく動力学から動機づける。
• システム間のダイナミカルな類似性を評価する、一般的でデータ駆動の指標（DSA）を開発する。
• DSA が、様々なケーススタディを通じて、結合同型（位相的に等価）ダイナミクスと非結合同型ダイナミクスを区別できることを示す。
• DSA が神経ネットワークにおける学習規則の違いを教師なしで明らかにできることを示す。
• 神経科学と機械学習におけるモデル検証・解釈のためのDSA の適用を促進する。

提案手法

• 遅延埋め込み（HAVOK）を用いて非線形ダイナミクスを全体線形表現へ埋め込み、高次元の線形系を得る。
• 各システムの Koopman 埋込みから縮約ランクの DMD 行列 A_x, A_y を推定する。
• ベクトル場上の Procrustes 分析を導入し、直交行列 C に対して Frobenius ノルム ||A_x − C A_y C^{-1}||_F を最小化してダイナミカル類似性を定量化する。
• ベクトル場の距離を、正規化されたトレースのアークコサインを用いた角形式で得る。
• 指標の性質を証明し、DSA を結合同型および Koopman 固有スペクトルと関連づける（特別な場合には 2-Wasserstein の結びつき）。
• 幾何とダイナミクスの分離、位相不変性、教師なし学習規則の切り離しを示す四つのケーススタディで検証する。

実験結果

リサーチクエスチョン

• RQ1 異なる潜在幾何学を持つ二つのニューラルネットワークが、同じ基礎ダイナミクス（結合同型システム）を実装できるか。
• RQ2 幾何的軌跡が似ていても異なるダイナミクスを示す系、あるいはその逆があり得るか。
• RQ3 ダイナミカルシステムの位相的・幾何学的変換に対して DSA はどのように応答するか。
• RQ4 DSA は trajectory データから学習規則を教師なしで切り離せるか。
• RQ5 DSA と Koopman 演算子理論が、ダイナミカルな類似性を捉える際にどのような関係を持つか。

主な発見

• DSA は、異なる幾何学を持つ RNN でもダイナミクスが同等であればダイナミカルな類似性を識別し、幾何学上の Procrustes ではそれを見逃す。
• DSA は教師なし分析で学習規則の違いを区別し、学習規則でネットワークをクラスタリングし、適切な分類精度を可能にする。
• DSA は平滑な幾何変形を通じて反発子トポロジー（リングアトラクター）を保つ限り不変である一方、トポロジー変化（リング対線アトラクター）を検出する。
• DSA はノイズと試行構造が存在する場合、条件平均軌道が似ている動的タイプを分離できる。
• アブレーションにより、遅延埋込と HAVOK（DMD）が、単なる時間的または幾何学的解析を超えてダイナミクスを正しく捉えるために両方とも必要である。
• DSA は異なるアーキテクチャ/タスク間で学習規則の切り離しを可能にし、ダイナミカル戦略の教師なし推論を実現できる。