[论文解读] Beyond Geometry: Comparing the Temporal Structure of Computation in Neural Circuits with Dynamical Similarity Analysis

Mitchell Ostrow, Adam Eisen+2 more|arXiv (Cornell University)|Jun 16, 2023

Neural dynamics and brain function被引用 8

一句话总结

该论文引入动态相似性分析（DSA），一种数据驱动的方法，通过Koopman嵌入和新型向量场Procrustes度量在动力学层面对神经系统进行比较，在几何相似性失效时揭示动力学等价性。

ABSTRACT

How can we tell whether two neural networks utilize the same internal processes for a particular computation? This question is pertinent for multiple subfields of neuroscience and machine learning, including neuroAI, mechanistic interpretability, and brain-machine interfaces. Standard approaches for comparing neural networks focus on the spatial geometry of latent states. Yet in recurrent networks, computations are implemented at the level of dynamics, and two networks performing the same computation with equivalent dynamics need not exhibit the same geometry. To bridge this gap, we introduce a novel similarity metric that compares two systems at the level of their dynamics, called Dynamical Similarity Analysis (DSA). Our method incorporates two components: Using recent advances in data-driven dynamical systems theory, we learn a high-dimensional linear system that accurately captures core features of the original nonlinear dynamics. Next, we compare different systems passed through this embedding using a novel extension of Procrustes Analysis that accounts for how vector fields change under orthogonal transformation. In four case studies, we demonstrate that our method disentangles conjugate and non-conjugate recurrent neural networks (RNNs), while geometric methods fall short. We additionally show that our method can distinguish learning rules in an unsupervised manner. Our method opens the door to comparative analyses of the essential temporal structure of computation in neural circuits.

研究动机与目标

• 在需要在动力学层面而非几何层面比较神经计算的动机。
• 开发一个通用、数据驱动的度量（DSA），用于评估系统之间的动力学相似性。
• 展示DSA在不同案例中区分共轭（拓扑等价）动力学与非共轭动力学的能力。
• 证明DSA能够在无监督的情况下揭示神经网络中的学习规则差异。
• 推动DSA在神经科学和机器学习中的模型验证与解释应用。

提出的方法

• 通过延迟嵌入（HAVOK）将非线性动力学嵌入到全局线性表示，得到高维线性系统。
• 从每个系统的Koopman嵌入中估计降秩DMD矩阵A_x、A_y。
• 引入向量场上的Procrustes分析：在正交矩阵C下最小化Frobenius范数 ||A_x − C A_y C^{-1}||_F，以量化动力学相似性。
• 利用归一化迹的反余弦角度形式得到向量场上的距离度量。
• 证明度量的性质并将DSA与共轭性及Koopman特征谱联系起来（在特殊情形下与2-Wasserstein相关）。
• 通过四个案例研究验证几何与动力学分离、拓扑不变性，以及无监督学习规则解耦的能力。

实验结果

研究问题

• RQ1 两个具有不同潜在几何的神经网络是否可以实现相同的基础动力学（共轭系统）？
• RQ2 在几何轨迹相似但动力学不同的系统，或相反的情况下，动力学表现如何？
• RQ3 DSA对动力系统的拓扑与几何变换有何响应？
• RQ4 DSA能否在无监督情形中从轨迹数据中解耦学习规则？
• RQ5 DSA与Koopman算子理论在捕捉动力学相似性方面的关系是什么？

主要发现

• DSA在具有不同几何但动力学等价的RNN之间识别出动力学相似性，而几何上的Procrustes失败。
• DSA在无监督分析中区分学习规则差异，通过学习规则对网络进行聚类，并实现可观的分类准确性。
• DSA在保持吸引子拓扑（环形吸引子）时对平滑几何变形保持不变，但能检测拓扑变化（环形吸引子与线性吸引子）。
• 在存在噪声和试验结构时，DSA可以分离共享近似轨迹的动态类型。
• 消融实验表明延迟嵌入和HAVOK（DMD）对于正确捕捉动力学都是必需的，超越纯时间或几何分析。
• DSA可以在不同架构/任务之间解耦学习规则，从而在无监督意义上推断动力学策略。