[论文解读] Decomposed Linear Dynamical Systems (dLDS) for learning the latent components of neural dynamics

Noga Mudrik, Yenho Chen+3 more|arXiv (Cornell University)|Jun 7, 2022

Bat Biology and Ecology Studies被引用 5

一句话总结

该论文提出了一种新型模型——分解线性动态系统（dLDS），将复杂、非平稳且非线性的神经动力学表示为稀疏的简单可解释线性分量组合。通过字典学习方法学习时变系数，dLDS能够捕捉动力学模式之间的平滑过渡，并高效地从多个子网络中分离出群体活动，在合成数据和真实的秀丽隐杆线虫神经数据上，其表达能力与可解释性均优于切换模型。

ABSTRACT

Learning interpretable representations of neural dynamics at a population level is a crucial first step to understanding how observed neural activity relates to perception and behavior. Models of neural dynamics often focus on either low-dimensional projections of neural activity, or on learning dynamical systems that explicitly relate to the neural state over time. We discuss how these two approaches are interrelated by considering dynamical systems as representative of flows on a low-dimensional manifold. Building on this concept, we propose a new decomposed dynamical system model that represents complex non-stationary and nonlinear dynamics of time series data as a sparse combination of simpler, more interpretable components. Our model is trained through a dictionary learning procedure, where we leverage recent results in tracking sparse vectors over time. The decomposed nature of the dynamics is more expressive than previous switched approaches for a given number of parameters and enables modeling of overlapping and non-stationary dynamics. In both continuous-time and discrete-time instructional examples we demonstrate that our model can well approximate the original system, learn efficient representations, and capture smooth transitions between dynamical modes, focusing on intuitive low-dimensional non-stationary linear and nonlinear systems. Furthermore, we highlight our model's ability to efficiently capture and demix population dynamics generated from multiple independent subnetworks, a task that is computationally impractical for switched models. Finally, we apply our model to neural "full brain" recordings of C. elegans data, illustrating a diversity of dynamics that is obscured when classified into discrete states.

研究动机与目标

• 开发一种将神经流形假说与动力系统相结合的模型，以实现对神经群体活动的可解释、低维表示。
• 解决神经动力学建模中模型表达能力与可解释性之间的权衡问题。
• 实现对重叠、非平稳和非线性动力学的建模，这些动力学难以被现有切换或线性动态系统所捕捉。
• 展示模型从神经数据中分离并重建多个独立子网络动力学的能力。
• 将模型应用于真实神经记录（如全脑秀丽隐杆线虫数据），揭示隐藏的动力学多样性。

提出的方法

• dLDS将神经动力学建模为时变线性动态系统（LDS）的线性组合，其中每个分量均为具有时变系数矩阵 $\bm{F}_t$ 的低维线性系统。
• 该模型采用字典学习框架，将动力学表示为基分量的稀疏组合，从而实现对复杂动力学的高效且可解释的表示。
• 通过递归估计跟踪时变系数 $\bm{c}_t$，使模型能够适应非平稳性并实现模式间的平滑过渡。
• 该方法利用近期在稀疏向量追踪方面的进展，同时学习动力学系数与分量激活状态。
• 模型采用连续时间或离散时间公式进行训练，通过线性观测模型 $\bm{y}_t = \bm{W}\bm{x}_t + \bm{v}_t$ 将潜在状态映射到观测数据。
• 该框架通过时变系数对非线性进行建模，从而避免使用复杂的非线性基函数，支持线性和非线性动力学。

实验结果

研究问题

• RQ1 分解线性动态系统模型是否能比切换模型或标准LDS模型更有效地捕捉非平稳和非线性神经动力学？
• RQ2 dLDS在神经群体数据中，对来自多个独立子网络的复杂重叠动力学的重建能力如何？
• RQ3 dLDS在多大程度上能揭示真实神经记录（如秀丽隐杆线虫数据）中被离散状态模型所掩盖的隐藏动力学多样性？
• RQ4 时变系数 $\bm{c}_t$ 是否可作为区分内在非线性相互作用与系统行为变化的标记？
• RQ5 与二值切换模型相比，dLDS在建模动力学模式之间平滑过渡方面的表现如何？

主要发现

• dLDS在连续时间和离散时间设置下均能成功逼近原始系统，以高保真度捕捉动力学模式之间的平滑过渡。
• 该模型能够高效地分离并重建来自多个独立子网络的群体动力学，而切换模型在该任务上计算上不可行。
• 在秀丽隐杆线虫全脑记录中，dLDS揭示了在离散状态分类下被掩盖的多种动力学行为多样性。
• 时变系数 $\bm{c}_t$ 能够追踪FitzHugh-Nagumo和Lorenz系统等非线性系统中的规律性，实现对非周期性变化和非平稳性的检测。
• 在给定参数数量下，dLDS在表达能力上优于切换LDS模型，尤其在建模重叠和非平稳动力学方面表现更优。
• 数据的归一化与中心化显著提升了推理稳定性，提示未来扩展中引入偏置项可能进一步增强鲁棒性。