[论文解读] Efficient data augmentation techniques for Gaussian state space models

Linda S. L. Tan|arXiv (Cornell University)|Dec 24, 2017

Bayesian Methods and Mixture Models参考文献 25被引用 4

一句话总结

本文提出了一种高斯状态空间模型的数据增强方案，通过引入两个用于重缩放和重新中心化的潜变量线性变换参数，加速EM算法的收敛。通过最小化缺失信息推导出最优参数，在仅未知均值时可实现瞬时收敛，并已扩展至吉布斯抽样和变分贝叶斯方法。

ABSTRACT

We propose a data augmentation scheme for improving the rate of convergence of the EM algorithm in estimating Gaussian state space models. The scheme is based on a linear transformation of the latent states, and two working parameters are introduced for simultaneous rescaling and re-centering. A variable portion of the mean and scale are thus being moved into the missing data. We derive optimal values of the working parameters (which maximize the speed of the EM algorithm) by minimizing the fraction of missing information. We also study the large sample properties of the working parameters and their dependence on the autocorrelation and signal-to-noise ratio. We show that instant convergence is achievable when the mean is the only unknown parameter and this result is extended to Gibbs samplers and variational Bayes algorithms.

研究动机与目标

• 改进高斯状态空间模型中EM算法的收敛速度。
• 开发一种通过线性变换重参数化潜变量的数据增强方案。
• 推导出通过最小化缺失信息比例而获得的最优工作参数。
• 分析工作参数在大样本下的行为，及其与自相关性和信噪比的关系。
• 将收敛结果扩展至吉布斯采样器和变分贝叶斯算法。

提出的方法

• 引入涉及两个工作参数（用于重缩放和重新中心化）的潜变量线性变换。
• 通过该变换，将一部分均值和尺度信息重新分配至缺失数据分量。
• 通过最小化EM算法中的缺失信息比例，优化工作参数。
• 在大样本渐近条件下，推导最优参数的解析表达式。
• 分析最优参数对模型特性（如自相关性和信噪比）的依赖关系。
• 通过利用相同的增强结构，将该框架扩展至吉布斯采样和变分贝叶斯算法。

实验结果

研究问题

• RQ1 何种潜变量的线性变换可使高斯状态空间模型中EM算法的收敛速度最大化？
• RQ2 用于重缩放和重新中心化的最优工作参数如何依赖于自相关性和信噪比等模型参数？
• RQ3 在何种条件下，可利用该数据增强方案实现EM算法的瞬时收敛？
• RQ4 所提出的增强框架能否扩展至吉布斯采样和变分贝叶斯算法？
• RQ5 缺失信息比例与收敛速度之间的理论关系为何？

主要发现

• 存在最优工作参数，可使缺失信息比例最小化，从而最大化EM算法的收敛速度。
• 当仅均值未知时，EM算法可实现瞬时收敛，且与状态空间结构无关。
• 最优参数依赖于自相关性和信噪比，并已推导出其大样本下的显式表达式。
• 该数据增强方案可自然扩展至吉布斯采样器和变分贝叶斯算法，同时保持收敛优势。
• 该方法显著提升了收敛性能，且无需额外的模型假设或复杂的调参。