[论文解读] Derivation of an EM algorithm for constrained and unconstrained multivariate autoregressive state-space (MARSS) models

Elizabeth E. Holmes|arXiv (Cornell University)|Feb 16, 2013

Bayesian Modeling and Causal Inference参考文献 14被引用 33

一句话总结

本文提出了一种适用于约束与非约束多变量自回归状态空间（MARSS）模型的最大似然估计的通用期望最大化（EM）算法，通过线性重参数化实现灵活的参数约束。该方法可处理缺失数据、时变参数及退化（部分确定性）系统，并通过将初始状态视为估计参数而非随机效应，提升了对初始状态先验误设的鲁棒性。

ABSTRACT

This report presents an Expectation-Maximization (EM) algorithm for estimation of the maximum-likelihood parameter values of constrained multivariate autoregressive Gaussian state-space (MARSS) models. The MARSS model can be written: x(t)=Bx(t-1)+u+w(t), y(t)=Zx(t)+a+v(t), where w(t) and v(t) are multivariate normal error-terms with variance-covariance matrices Q and R respectively. MARSS models are a class of dynamic linear model and vector autoregressive state-space model. Shumway and Stoffer presented an unconstrained EM algorithm for this class of models in 1982, and a number of researchers have presented EM algorithms for specific types of constrained MARSS models since then. In this report, I present a general EM algorithm for constrained MARSS models, where the constraints are on the elements within the parameter matrices (B,u,Q,Z,a,R). The constraints take the form vec(M)=f+Dm, where M is the parameter matrix, f is a column vector of fixed values, D is a matrix of multipliers, and m is the column vector of estimated values. This allows a wide variety of constrained parameter matrix forms. The presentation is for a time-varying MARSS model, where time-variation enters through the fixed (meaning not estimated) f(t) and D(t) matrices for each parameter. The algorithm allows missing values in y and partially deterministic systems where 0s appear on the diagonals of Q or R. Open source code for estimating MARSS models with this algorithm is provided in the MARSS R package on the Comprehensive R Archive Network (CRAN).

研究动机与目标

• 开发一种统一的EM算法，适用于约束与非约束MARSS模型，支持广泛的参数约束形式。
• 解决MARSS模型中初始状态先验误设这一长期存在的问题，该问题可能导致最大似然估计出现偏差或不一致。
• 将EM算法扩展至处理观测向量中的缺失观测值，以及具有确定性分量（如Q或R中方差为零）的退化系统。
• 提供一种计算高效的框架，除非优先考虑安全性，否则避免在参数更新之间重复进行卡尔曼滤波。
• 使用户能够将初始状态作为固定参数进行估计，从而消除对可能不一致的先验协方差结构的依赖。

提出的方法

• 采用通用的参数约束形式：vec(M) = f + Dm，其中M为参数矩阵，f为固定向量，D为设计矩阵，m为估计值向量。
• 通过将隐状态视为缺失数据，迭代计算期望并最大化完整数据对数似然的期望，推导出EM算法。
• 应用卡尔曼滤波器与平滑器，基于当前参数估计计算期望充分统计量，包括平滑后的状态均值与协方差。
• 通过允许f(t)与D(t)随时间变化，处理时变参数，从而实现对系统参数的动态建模。
• 将初始状态x₀视为固定且可估计的参数，而非具有先验分布的随机变量，从而避免最大似然估计中由先验引入的偏差。
• 实现安全模式（control$safe=TRUE），在每次参数更新后重新计算卡尔曼滤波器/平滑器，以防止似然值下降。

实验结果

研究问题

• RQ1 如何为具有任意线性参数矩阵约束的MARSS模型推导出通用的EM算法？
• RQ2 当真实模型隐含非对角协方差结构时，使用扩散先验或固定先验对初始状态会产生何种影响？
• RQ3 在MARSS模型的EM框架中，如何处理观测向量中的缺失数据？
• RQ4 将初始状态视为固定估计参数与使用先验分布相比，在多大程度上提升了最大似然估计的鲁棒性？
• RQ5 EM算法在何种条件下无法收敛至真实的最大似然估计？此类失败现象如何被检测与缓解？

主要发现

• 所提出的EM算法能够有效处理广泛类别的约束MARSS模型，包括具有时变参数与缺失观测的模型。
• 将初始状态视为固定且可估计的参数，而非具有先验分布的随机变量，显著降低了因先验误设导致的偏差风险。
• 即使初始状态先验具有错误的相关结构，只要直接估计初始状态，该算法仍保持鲁棒性。
• 使用扩散先验无法消除先验引入的相关结构，因此无法完全解决初始状态假设不匹配引发的问题。
• 通过监测从牛顿型估计初始化时的似然变化，可检测与先验相关的问题；若似然值下降，表明先验不一致。
• 默认实现跳过参数更新之间的卡尔曼滤波器重新计算以提升效率，但用户可启用安全模式以确保似然单调递增。