[论文解读] Dynamic Shrinkage Processes

Daniel R. Kowal, David S. Matteson+1 more|arXiv (Cornell University)|Jul 3, 2017

Complex Systems and Time Series Analysis被引用 16

一句话总结

本文提出动态收缩过程——具有依赖局部尺度参数的全局-局部收缩先验——以增强贝叶斯时间序列与回归模型。通过在对数尺度上建模局部尺度并利用Pólya-Gamma数据增广，该方法实现了自适应的、局部化的收缩，结合高效的Gibbs采样，在趋势滤波和时变参数模型中显著提升了估计精度与不确定性量化能力。

ABSTRACT

We propose a novel class of dynamic shrinkage processes for Bayesian time series and regression analysis. Building upon a global-local framework of prior construction, in which continuous scale mixtures of Gaussian distributions are employed for both desirable shrinkage properties and computational tractability, we model dependence among the local scale parameters. The resulting processes inherit the desirable shrinkage behavior of popular global-local priors, such as the horseshoe prior, but provide additional localized adaptivity, which is important for modeling time series data or regression functions with local features. We construct a computationally efficient Gibbs sampling algorithm based on a Pólya-Gamma scale mixture representation of the proposed process. Using dynamic shrinkage processes, we develop a Bayesian trend filtering model that produces more accurate estimates and tighter posterior credible intervals than competing methods, and apply the model for irregular curve-fitting of minute-by-minute Twitter CPU usage data. In addition, we develop an adaptive time-varying parameter regression model to assess the efficacy of the Fama-French five-factor asset pricing model with momentum added as a sixth factor. Our dynamic analysis of manufacturing and healthcare industry data shows that with the exception of the market risk, no other risk factors are significant except for brief periods.

研究动机与目标

• 开发一类灵活的动态收缩先验，将全局-局部收缩推广至时变设置，并增强自适应性。
• 通过对数尺度自回归过程建模局部尺度参数之间的依赖关系，实现时间局部化的收缩行为。
• 利用Pólya-Gamma尺度混合表示构建计算高效的Gibbs采样器，用于后验计算。
• 在趋势滤波与时变参数回归模型中提升估计精度与后验可信区间质量。
• 将该框架应用于真实数据，包括Twitter CPU使用率与资产定价，证明其性能优于现有方法。

提出的方法

• 在对数尺度上建模局部尺度参数 $\lambda_t$，即 $h_t = \log(\tau^2 \lambda_t^2) = \mu + \psi_t + \eta_t$，其中 $\psi_t$ 捕获时间依赖性。
• 将 $\psi_t$ 规定为自回归过程 $\psi_t = \phi \psi_{t-1} + \epsilon_t$，其中 $\epsilon_t \sim Z(\alpha, \beta, 0, 1)$，即广义逻辑分布。
• 采用Pólya-Gamma数据增广方案，实现层次模型的高效Gibbs采样，避免Metropolis-Hastings的调参需求。
• 通过状态空间表示将动态收缩过程整合至贝叶斯趋势滤波与时变参数回归模型中。
• 使用切片采样与Pólya-Gamma先验对超参数 $\phi$、$\tau$ 和 $\mu$ 进行采样，确保共轭性与计算效率。
• 对对数方差过程使用离散混合近似，以实现潜态与混合指标的快速采样。

实验结果

研究问题

• RQ1 与独立同分布的局部尺度假设相比，动态收缩过程是否能改善时间序列与回归模型中的局部化收缩？
• RQ2 在不规则曲线拟合的趋势滤波中，所提出的动态全局-局部先验相较于现有贝叶斯与频率学派方法表现如何？
• RQ3 在存在瞬时因子显著性的情况下，动态收缩模型在资产定价中对时变风险因子的适应程度如何？
• RQ4 Pólya-Gamma Gibbs采样器是否能高效应用于具有线性计算复杂度的高维动态收缩模型？
• RQ5 在真实数据应用中，动态收缩框架是否能提供更紧致的后验可信区间与更精确的估计？

主要发现

• 在分钟级Twitter CPU使用率数据上，采用动态霍斯勒创新的贝叶斯趋势滤波模型（BTF-DHS）产生的后验可信区间显著更紧致，估计更准确。
• 在包含动量因子的Fama-French五因子模型中，动态分析表明仅市场风险因子始终显著，其他因子仅在短暂时期内显著。
• BTF-DHS的MCMC算法实现线性时间复杂度，支持大规模时间序列的可扩展全贝叶斯推断。
• 动态收缩过程成功捕捉了不规则曲线中的局部特征，在模拟与真实数据中均优于静态收缩先验。
• Pólya-Gamma增广确保Gibbs采样器的接受率达99.919%，无需调参，显著提升计算效率。
• 该模型展现出稳健的不确定性量化能力，其后验可信区间比非贝叶斯方法更紧致、更可靠。