[论文解读] Dynamic generalized linear models for non-Gaussian time series forecasting

Kostas Triantafyllopoulos|ArXiv.org|Feb 1, 2008

Statistical Methods and Bayesian Inference参考文献 42被引用 3

一句话总结

本文提出了一种统一的贝叶斯框架，用于使用动态广义线性模型（DGLMs）对非高斯时间序列进行预测，采用共轭先验和贝叶斯线性估计，实现对各类指数族分布的多步预测。主要贡献在于提出了一种系统且计算高效的预测与模型监控方法，适用于金融、医学、生物学和行为科学等领域。

ABSTRACT

The purpose of this paper is to provide a discussion, with illustrating examples, on Bayesian forecasting for dynamic generalized linear models (DGLMs). Adopting approximate Bayesian analysis, based on conjugate forms and on Bayes linear estimation, we describe the theoretical framework and then we provide detailed examples of response distributions, including binomial, Poisson, negative binomial, geometric, normal, log-normal, gamma, exponential, Weibull, Pareto, beta, and inverse Gaussian. We give numerical illustrations for all distributions (except for the normal). Putting together all the above distributions, we give a unified Bayesian approach to non-Gaussian time series analysis, with applications from finance and medicine to biology and the behavioural sciences. Throughout the models we discuss Bayesian forecasting and, for each model, we derive the multi-step forecast mean. Finally, we describe model assessment using the likelihood function, and Bayesian model monitoring.

研究动机与目标

• 开发一种基于动态广义线性模型（DGLMs）的非高斯时间序列综合贝叶斯预测框架。
• 通过引入近似贝叶斯推断、多步预测和超越常用二项分布与泊松分布的模型诊断，扩展现有DGLM方法。
• 统一涵盖广泛指数族分布（包括二项分布、泊松分布、负二项分布、伽马分布、逆高斯分布和贝塔分布等）的预测方法。
• 使用真实和模拟数据对除正态分布外的所有分布提供数值示例，正态分布已有充分研究。
• 引入基于似然的模型评估与贝叶斯模型监控，提升模型的可靠性与可解释性。

提出的方法

• 采用共轭先验和贝叶斯线性估计，实现DGLMs中近似贝叶斯推断，支持可处理的后验更新。
• 使用时变参数的状态空间公式：$\theta_t = G_t \theta_{t-1} + \omega_t$，其中 $\omega_t \sim N(0, \Omega_t)$。
• 应用卡尔曼滤波框架，对线性预测器 $\eta_t = F_t' \theta_t$ 的后验分布进行时间上的顺序更新。
• 通过后验均值和方差推导多步预测的均值，基于 $\eta_t$ 的后验预测分布。
• 利用矩生成函数及其导数，近似自然参数 $\gamma_t$ 的后验矩，尤其适用于非共轭或复杂分布。
• 通过似然函数和后验预测检查实现模型监控，重点关注预测密度评估与残差分析。

实验结果

研究问题

• RQ1 如何为涵盖多种指数族分布的非高斯时间序列，构建统一的贝叶斯预测框架？
• RQ2 在共轭先验和近似贝叶斯更新下，DGLMs的多步预测均值与方差表达式是什么？
• RQ3 如何系统地使用基于似然和贝叶斯诊断的方法对DGLMs进行模型评估与监控？
• RQ4 将DGLMs扩展至二项分布与泊松分布之外的模型时，面临哪些计算与统计挑战，如何应对？
• RQ5 对 digamma 函数 $\psi(x) \approx \log x$ 及其导数 $\psi^{(1)}(x) \approx 1/x$ 的渐近近似，如何提升DGLMs中后验均值与方差估计的准确性？

主要发现

• 本文推导出基于线性预测器 $\eta_t$ 后验均值的DGLMs多步预测均值的显式表达式，支持可靠的长期预测。
• 对于贝塔分布，$\mu_t$ 的后验均值为 $\mathbb{E}(\mu_t|y^{t-1}) = \frac{r_t}{r_t + s_t}$，其中 $r_t$ 和 $s_t$ 通过先验参数更新。
• 对于逆高斯分布，通过自然参数 $\gamma_t = -1/\mu_t^2$ 的变换获得 $\mu_t$ 的后验均值，后验期望通过非标准密度的积分计算。
• 使用 digamma 函数 $\psi(x) \approx \log x$ 及其导数 $\psi^{(1)}(x) \approx 1/x$ 的渐近近似，即使在参数值较小时也能实现后验矩的稳定计算。
• 贝塔分布下 $\eta_t$ 的后验方差近似为 $q_t = \text{Var}(\eta_t|y^{t-1}) = \frac{1}{r_t} - \frac{1}{s_t - r_t}$，其他分布也推导出类似表达式。
• 通过似然函数和后验预测检查实现模型监控，数值示例显示在所有12种测试分布（正态除外）中均表现出一致性能。