[论文解读] Bayesian Dynamic Fused LASSO

Kaoru Irie|arXiv (Cornell University)|May 29, 2019

Statistical Methods and Inference参考文献 47被引用 4

一句话总结

本文提出了贝叶斯动态融合LASSO（DFL），一种新颖的马尔可夫转移先验，通过同时将时变回归系数收缩至零及其前一值，实现在状态空间模型中的动态稀疏性。通过将难以计算的归一化常数表示为双指数分布的对数几何混合形式，DFL使得在条件高斯动态线性模型中可通过前向滤波与后向抽样（FFBS）实现高效的后验计算，其在收缩灵活性和预测准确性方面优于标准先验。

ABSTRACT

The new class of Markov processes is proposed to realize the flexible shrinkage effects for the dynamic models. The transition density of the new process consists of two penalty functions, similarly to Bayesian fused LASSO in its functional form, that shrink the current state variable to its previous value and zero. The normalizing constant of the density, which is not ignorable in the posterior computation, is shown to be essentially the log-geometric mixture of double-exponential densities. This process comprises the state equation of the dynamic regression models, which is shown to be conditionally Gaussian and linear in state variables and utilize the forward filtering and backward sampling in posterior computation by Gibbs sampler. The problem of overshrinkage that is inherent in lasso is moderated by considering the hierarchical extension, which can even realize the shrinkage of horseshoe priors marginally. The new prior is compared with the standard double-exponential prior in the estimation of and prediction by the dynamic linear models for illustration. It is also applied to the time-varying vector autoregressive models for the US macroeconomic data, where we examine the (dis)similarity of the additional shrinkage effect to dynamic variable selection or, specifically, the latent threshold models.

研究动机与目标

• 开发一种先验，实现对动态系数的灵活、时变收缩，使其同时趋向于零和其前一值，以解决标准LASSO中的过度收缩问题。
• 显式计算具有两个惩罚函数的条件转移密度的不可计算归一化常数，这对后验推断至关重要。
• 将DFL先验嵌入条件高斯动态线性模型（CDLM）框架中，以实现通过前向滤波与后向抽样（FFBS）进行高效的后验抽样。
• 通过引入可模拟正态收缩先验边际收缩特性的层次扩展，缓解LASSO类先验固有的过度收缩问题。
• 在动态线性模型和时变向量自回归模型（TV-VARs）中展示DFL在美国家庭经济数据中的有效性。

提出的方法

• 提出状态变量的转移密度：$ p(x_t|x_{t-1}) \propto \exp\{ -\alpha|x_t| - \beta|x_t - x_{t-1}| \} $，结合对零和前一状态的收缩。
• 将归一化常数推导为双指数密度的对数几何混合形式，实现解析可处理性。
• 建立DFL先验的层次表示为正态分布的尺度混合形式，便于通过Gibbs抽样实现MCMC。
• 将DFL嵌入条件高斯动态线性模型（CDLM），确保共轭性并实现通过前向滤波与后向抽样（FFBS）的高效后验抽样。
• 利用DFL先验的层次扩展，实现边际上类似正态收缩的收缩效果，从而减少过度收缩。
• 将该方法应用于单变量DLM和多变量TV-VARs，与标准双指数分布和潜在阈值模型进行性能比较。

实验结果

研究问题

• RQ1 能否构建一种条件先验，使其对系数同时向零和前一值收缩，且归一化常数具有解析形式？
• RQ2 如何将DFL先验嵌入CDLM中，以通过FFBS实现高效的后验计算？
• RQ3 与标准LASSO相比，DFL先验是否能减少过度收缩，同时在动态模型中保持稀疏性？
• RQ4 在估计多变量宏观经济学模型中的时变参数时，DFL相较于现有收缩先验表现如何？
• RQ5 DFL先验在时变向量自回归模型中，对动态稀疏性和结构性变化的捕捉程度如何？

主要发现

• DFL转移密度的归一化常数被证明为双指数密度的对数几何混合形式，从而实现解析计算。
• DFL先验被成功嵌入CDLM框架中，实现了通过前向滤波与后向抽样（FFBS）的高效后验抽样。
• 在模拟研究中，DFL-DLM在估计和预测精度方面优于标准双指数先验，尤其在动态稀疏性检测方面表现更优。
• 在美国家庭经济数据中，DFL-DLM识别出稀疏且时变的结构，许多系数的后验包含概率接近零，表明对零的强烈收缩。
• 与潜在阈值模型（LTM）相比，DFL-DLM展现出更强的动态收缩特性，其后验正计数概率更不僵化，对结构性变化的响应更灵敏。
• 通过层次扩展，DFL先验可实现边际上类似正态收缩的收缩效果，有效缓解标准LASSO中常见的过度收缩问题。