[论文解读] Bayesian inference of time varying parameters in autoregressive processes

Christoph Mark, Claus Metzner+1 more|arXiv (Cornell University)|May 7, 2014

Fault Detection and Control Systems参考文献 2被引用 4

一句话总结

该论文提出了一种顺序贝叶斯推断方法，用于在仅使用观测数据 $u_t$ 的情况下，估计一阶时变自回归（TVAR(1)）过程中时变参数 $q_t$ 和 $σ_t$。该方法在各种窗口大小下均优于滑动窗口最大似然估计，能够提供完整的后验分布以实现不确定性量化，并且无需假设离散隐状态即可检测到渐变和突变。

ABSTRACT

In the autoregressive process of first order AR(1), a homogeneous correlated time series $u_t$ is recursively constructed as $u_t = q\; u_{t-1} + σ\;ε_t$, using random Gaussian deviates $ε_t$ and fixed values for the correlation coefficient $q$ and for the noise amplitude $σ$. To model temporally heterogeneous time series, the coefficients $q_t$ and $σ_t$ can be regarded as time-dependend variables by themselves, leading to the time-varying autoregressive processes TVAR(1). We assume here that the time series $u_t$ is known and attempt to infer the temporal evolution of the 'superstatistical' parameters $q_t$ and $σ_t$. We present a sequential Bayesian method of inference, which is conceptually related to the Hidden Markov model, but takes into account the direct statistical dependence of successively measured variables $u_t$. The method requires almost no prior knowledge about the temporal dynamics of $q_t$ and $σ_t$ and can handle gradual and abrupt changes of these superparameters simultaneously. We compare our method with a Maximum Likelihood estimate based on a sliding window and show that it is superior for a wide range of window sizes.

研究动机与目标

• 从观测时间序列 $u_t$ 中推断TVAR(1)过程中时变相关系数 $q_t$ 和噪声幅值 $σ_t$，且不预先知道其动力学特性。
• 开发一种方法，能够同时检测 $q_t$ 和 $σ_t$ 中的渐变和突变，克服隐马尔可夫模型等离散状态模型的局限性。
• 在每个时间点提供完整的后验分布 $p(q_t, σ_t)$，以实现参数估计的内置不确定性量化。
• 在重建真实时变参数方面，优于标准滑动窗口最大似然估计，且在多种窗口大小下表现一致。

提出的方法

• 使用顺序贝叶斯更新计算后验分布 $p(q_t, σ_t | u_{1:t})$，基于TVAR(1)模型的似然 $p(u_t | q_t, σ_t, u_{t-1})$。
• 采用基于核的先验 $K(q_t, σ_t | q_{t-1}, σ_{t-1})$，结合平滑过渡（用于渐变）和突变跳跃（用于突变）。
• 在 $q_t$ 和 $σ_t$ 上的离散网格上表示后验分布，无需参数假设即可处理非高斯和多模态分布。
• 应用前向-后向算法计算时间平均后验 $\langle p(q_t, σ_t) \rangle_t$，有助于识别参数空间中的动力学模式或聚类。
• 采用基于网格的近似方法，避免了对参数形式的严格限制，支持检测后验中的多个模式，表明对参数转换的不确定性。
• 将关于 $q_t$ 和 $σ_t$ 动力学的先验知识融入核函数 $K$，支持针对特定应用的定制化。

实验结果

研究问题

• RQ1 贝叶斯方法能否在对参数时间动态几乎无先验假设的前提下，从未观测数据 $u_t$ 中推断出TVAR(1)过程中的时变参数 $q_t$ 和 $σ_t$？
• RQ2 所提出的贝叶斯推断方法在不同窗口大小下与滑动窗口最大似然估计相比，性能如何？
• RQ3 该方法能否在不假设离散隐状态的前提下，同时检测 $q_t$ 和 $σ_t$ 中的渐变和突变？
• RQ4 完整后验分布 $p(q_t, σ_t)$ 在多大程度上能提供优于点估计的不确定性量化？
• RQ5 时间平均后验能否揭示 $q_t$ 和 $σ_t$ 参数空间中不同的动力学模式或聚类？

主要发现

• 在所有测试的窗口大小下，该贝叶斯方法的均方误差（MSE）均低于滑动窗口最大似然估计，平均MSE比值 $r < 1$。
• 在三种测试情形（恒定、正弦变化和阶跃变化）中，该贝叶斯方法始终优于任意窗口宽度的MLE，表现出强鲁棒性。
• 该方法成功检测到 $q_t$ 和 $σ_t$ 中的突变，在过渡期间后验分布表现出多模态行为。
• 时间平均后验揭示了参数空间中不同的动力学模式，包括部分重叠的聚类，而这类模式在离散状态模型中难以检测。
• 每个时间点的完整后验分布提供了内置的不确定性度量，分布越宽表示估计的模糊性越高。
• 由于采用灵活的基于核的先验和非参数化网格表示，即使真实参数动态复杂或未知，该方法仍保持有效性。