[论文解读] Bayesian Structure Learning for Stationary Time Series

Alex Tank, Nicholas J. Foti+1 more|arXiv (Cornell University)|May 12, 2015

Bayesian Modeling and Causal Inference参考文献 27被引用 11

一句话总结

本文提出了一种用于平稳时间序列的贝叶斯结构学习框架，通过在逆谱密度矩阵中引入零元素来建模条件独立性。通过引入共轭超复逆Wishart先验并利用Whittle似然近似，实现了谱矩阵的解析边缘化，从而得到闭式边缘似然，支持通过随机搜索实现高效的图推断——在股票和神经影像数据上进行了验证。

ABSTRACT

While much work has explored probabilistic graphical models for independent data, less attention has been paid to time series. The goal in this setting is to determine conditional independence relations between entire time series, which for stationary series, are encoded by zeros in the inverse spectral density matrix. We take a Bayesian approach to structure learning, placing priors on (i) the graph structure and (ii) spectral matrices given the graph. We leverage a Whittle likelihood approximation and define a conjugate prior---the hyper complex inverse Wishart---on the complex-valued and graph-constrained spectral matrices. Due to conjugacy, we can analytically marginalize the spectral matrices and obtain a closed-form marginal likelihood of the time series given a graph. Importantly, our analytic marginal likelihood allows us to avoid inference of the complex spectral matrices themselves and places us back into the framework of standard (Bayesian) structure learning. In particular, combining this marginal likelihood with our graph prior leads to efficient inference of the time series graph itself, which we base on a stochastic search procedure, though any standard approach can be straightforwardly modified to our time series case. We demonstrate our methods on analyzing stock data and neuroimaging data of brain activity during various auditory tasks.

研究动机与目标

• 将贝叶斯结构学习从独立数据扩展到平稳时间序列，通过谱约束建模条件独立性。
• 解决时间序列图模型中高维复值谱矩阵的挑战。
• 开发一种共轭先验——超复逆Wishart分布，尊重图约束并实现解析边缘化。
• 通过推导闭式边缘似然，避免对谱矩阵进行昂贵的推断，实现高效的结构学习。
• 在真实世界时间序列数据（包括股票收益率和听觉任务期间的大脑活动）上展示该方法的实用性。

提出的方法

• 使用Whittle似然近似简化平稳时间序列的似然，实现高效计算。
• 引入超复逆Wishart分布作为复值谱矩阵上的共轭先验，其受图结构约束。
• 通过解析积分谱矩阵，推导出闭式边缘似然，条件依赖于图结构。
• 采用随机搜索过程探索可能的图结构空间，由解析计算的边缘似然引导。
• 通过将问题简化为基于边缘似然的图评分，保持与标准贝叶斯结构学习技术的兼容性。
• 通过在逆谱密度矩阵中编码条件独立关系（即零元素），将该框架应用于多变量时间序列。

实验结果

研究问题

• RQ1 如何将贝叶斯结构学习适配到平稳时间序列，其中条件独立性在谱域中编码？
• RQ2 何种共轭先验分布可定义于受图约束的复值谱矩阵上，以实现解析边缘化？
• RQ3 对于给定图结构，能否推导出时间序列的闭式边缘似然，从而避免对谱矩阵进行后验采样？
• RQ4 与现有方法相比，该方法在时间序列图发现中的计算效率和准确性如何？
• RQ5 在真实世界数据（如股票收益率和听觉任务期间的大脑活动）上应用该方法可获得哪些见解？

主要发现

• 所提方法通过共轭性实现谱矩阵的解析边缘似然计算，消除了对MCMC或变分推断的依赖。
• 超复逆Wishart先验确保谱矩阵保持正定性，并尊重图中编码的条件独立结构。
• 闭式边缘似然使图结构的高效随机搜索成为可能，与完整后验推断相比显著降低了计算成本。
• 该方法在多变量股票收益率数据中成功识别出有意义的条件独立结构，揭示了潜在依赖关系。
• 在神经影像数据中，该方法揭示了反映听觉处理任务期间已知功能脑网络的时间序列图。
• 该框架具有通用性，可通过重新定义图先验和谱约束，适用于任何平稳多变量时间序列。