[论文解读] Tree-Structured Recurrent Switching Linear Dynamical Systems for Multi-Scale Modeling

Josue Nassar, Scott W. Linderman+2 more|arXiv (Cornell University)|Nov 29, 2018

Gaussian Processes and Bayesian Inference被引用 35

一句话总结

该论文提出树形结构递归切换线性动态系统（TrSLDS），一种分层贝叶斯模型，通过树形结构的棒棒糖过程组织局部线性动态系统，以捕捉多尺度非线性动态。通过采用波利亚-伽马数据增强实现完全贝叶斯推断，TrSLDS在合成洛伦兹系统与菲茨休-纳古莫模型以及猕猴视觉皮层的真实神经数据上，均在预测精度与可解释性方面优于现有模型。

ABSTRACT

Many real-world systems studied are governed by complex, nonlinear dynamics. By modeling these dynamics, we can gain insight into how these systems work, make predictions about how they will behave, and develop strategies for controlling them. While there are many methods for modeling nonlinear dynamical systems, existing techniques face a trade off between offering interpretable descriptions and making accurate predictions. Here, we develop a class of models that aims to achieve both simultaneously, smoothly interpolating between simple descriptions and more complex, yet also more accurate models. Our probabilistic model achieves this multi-scale property through a hierarchy of locally linear dynamics that jointly approximate global nonlinear dynamics. We call it the tree-structured recurrent switching linear dynamical system. To fit this model, we present a fully-Bayesian sampling procedure using Polya-Gamma data augmentation to allow for fast and conjugate Gibbs sampling. Through a variety of synthetic and real examples, we show how these models outperform existing methods in both interpretability and predictive capability.

研究动机与目标

• 开发一种概率模型，以在保持可解释性的前提下捕捉多层次抽象下的复杂非线性动态。
• 解决非线性动态系统中模型可解释性与预测精度之间的权衡问题。
• 通过切换状态上的树形结构先验，实现潜在动态的分层、多尺度建模。
• 设计一种高效的完全贝叶斯推断方法，通过波利亚-伽马增强实现共轭吉布斯采样。
• 验证模型在合成数据与真实神经数据上，于不同分辨率下恢复有意义且可解释动态的能力。

提出的方法

• 提出一种树形结构的棒棒糖过程，推广顺序棒棒糖过程以用于多项分布，实现状态空间的分层划分。
• 在动态参数上采用分层先验，将父节点与子节点关联，确保树结构各层级间模型复杂度的平滑过渡。
• 采用波利亚-伽马数据增强，实现对所有潜变量（包括状态、切换状态与动态参数）的共轭吉布斯采样。
• 应用递归切换线性动态系统（rSLDS）框架，树中每个节点代表一个局部线性动态系统。
• 通过吉布斯采样对潜状态与模型参数进行后验推断，最终模型基于后 burn-in 阶段样本中对数似然最高的结果选择。
• 对平滑化的脉冲发放序列应用概率主成分分析以初始化神经数据的潜状态，随后在TrSLDS框架中执行完整贝叶斯推断。

实验结果

研究问题

• RQ1 具有树形结构切换动态的分层模型是否能同时提升非线性动态系统中的可解释性与预测性能？
• RQ2 TrSLDS在洛伦兹吸引子与菲茨休-纳古莫振子等混沌系统中，能否有效恢复多尺度动态？
• RQ3 TrSLDS能否在真实神经数据中识别出有意义且符合生物学意义的动力学结构，如不同视觉刺激对应的不同极限环？
• RQ4 对动态参数的分层先验是否能实现模型分辨率层级间更平滑、更一致的过渡？
• RQ5 波利亚-伽马增强在该复杂高维模型中，是否能实现高效且共轭的贝叶斯推断？

主要发现

• TrSLDS通过在树的第二层首先用两个二维椭球近似洛伦兹系统的蝴蝶形吸引子，再通过子节点进一步细化，成功捕捉了该系统。
• 模型预测性能得到提升，R²值随树深度增加而上升，叶节点提供最精确的近似。
• 在猕猴初级视觉皮层的神经数据上，TrSLDS正确地将不同刺激方向的神经反应分离到不同的子树中（如140/150°与230/240°），揭示了群体水平的动力学差异。
• 每个子树内的叶节点进一步细化动态，学习到与数据中观察到的周期性神经反应一致的独立稳定极限环。
• 分层结构提供了清晰的多尺度视图：粗粒度层级揭示群体动态，而更深层级揭示精细的、与刺激相关的振荡模式。
• 采用波利亚-伽马增强的完全贝叶斯推断收敛迅速且结果一致，最终可视化与分析基于对数似然最高的样本。