[论文解读] Gaussian variational approximation for high-dimensional state space models

Matias Quiroz, David J. Nott+1 more|arXiv (Cornell University)|Jan 24, 2018

Gaussian Processes and Bayesian Inference参考文献 60被引用 18

一句话总结

本文通过利用动态因子模型对变分后验协方差矩阵进行简洁参数化，提出了一种高维状态空间模型的高斯变分近似方法。通过降低状态维度并利用马尔可夫时间依赖性，该方法实现了高效的随机梯度优化，并在两个高维应用中实现了精确的预测推断：鸟类迁徙的时空建模和金融领域的多变量随机波动率模型。

ABSTRACT

Our article considers a Gaussian variational approximation of the posterior density in a high-dimensional state space model. The variational parameters to be optimized are the mean vector and the covariance matrix of the approximation. The number of parameters in the covariance matrix grows as the square of the number of model parameters, so it is necessary to find simple yet effective parameterizations of the covariance structure when the number of model parameters is large. We approximate the joint posterior distribution over the high-dimensional state vectors by a dynamic factor model, having Markovian time dependence and a factor covariance structure for the states. This gives a reduced description of the dependence structure for the states, as well as a temporal conditional independence structure similar to that in the true posterior. The usefulness of the approach is illustrated for prediction in two high-dimensional applications that are challenging for Markov chain Monte Carlo sampling. The first is a spatio-temporal model for the spread of the Eurasian Collared-Dove across North America; the second is a Wishart-based multivariate stochastic volatility model for financial returns.

研究动机与目标

• 通过减少变分参数的数量，解决高维状态空间模型中完整协方差参数化的计算不可行性。
• 开发一种可扩展的变分推断方法，在模型复杂性较高的情况下仍能保持精确的不确定性量化和预测性能。
• 在马尔可夫链蒙特卡洛（MCMC）采样计算成本过高的高维场景中，实现高效的后验近似。
• 利用动态因子模型结构，捕捉状态向量中的横截面依赖性和时间相关性。
• 在两个真实世界的高维问题上验证该方法的有效性：时空传播建模和多变量随机波动率估计。

提出的方法

• 使用动态因子模型对变分后验协方差矩阵进行参数化，降低状态维度，并通过低秩结构诱导条件独立性。
• 将因子建模为一阶马尔可夫过程，以在精度矩阵中诱导稀疏性，从而实现高效计算。
• 使用重参数化技巧进行随机梯度上升，以在高维空间中高效优化证据下界（ELBO）。
• 应用Woodbury公式加速变分推断过程中的矩阵运算，从而实现可扩展性。
• 通过使变分精度矩阵的稀疏模式与真实后验的稀疏模式一致，匹配真实后验的条件独立结构。
• 对变分后验采用低维均值参数化，进一步降低高维状态空间中的计算负担。

实验结果

研究问题

• RQ1 在变分后验协方差矩阵中引入动态因子结构，是否能有效减少参数数量，同时在高维状态空间模型中保持预测准确性？
• RQ2 与MCMC相比，所提出的高斯变分近似在高维时空和金融时间序列的预测密度估计方面表现如何？
• RQ3 使用重参数化技巧的随机梯度优化在多大程度上实现了高维场景下的可扩展推断？
• RQ4 基于因子的协方差参数化是否能捕捉真实后验中的关键依赖结构，特别是在具有复杂时间与空间依赖性的模型中？
• RQ5 当真实后验表现出偏度或重尾特征时，该方法是否仍能保持可靠的不确定性量化和预测区间？

主要发现

• 动态因子模型参数化显著减少了变分参数的数量，使得在最多包含78个状态的高维状态空间模型中实现推断成为可能。
• 在欧亚斑鸠的时空模型和多变量随机波动率模型中，该方法的预测性能与MCMC相当，经预测密度比较验证。
• 对于包含k=12只资产的多变量随机波动率模型，变分近似在所有预测时域h=1,2,3,4下均成功生成了包含保留测试观测值的预测区间。
• 真实数据示例的样本内预测显示，变分预测密度与“理想”（真实）后验密度高度一致，观测数据点均落在预测区间内。
• 真实数据示例的ELBO估计值在迭代过程中趋于稳定，尽管存在较高波动性，表明随机优化过程已收敛。
• 该方法在不同数据实现和参数设置下表现出鲁棒性，在模拟数据和真实世界数据集中均保持一致的性能表现。