[論文レビュー] Derivation of an EM algorithm for constrained and unconstrained multivariate autoregressive state-space (MARSS) models

Elizabeth E. Holmes|arXiv (Cornell University)|Feb 16, 2013

Bayesian Modeling and Causal Inference参考文献 14被引用数 33

ひとこと要約

本稿では、制約付きおよび非制約付き多次元自己回帰状態空間（MARSS）モデルにおける最尤推定のための一般化された期待値最大化（EM）アルゴリズムを提示する。線形再パラメータライゼーションにより、柔軟なパラメータ制約が可能である。この手法は欠損データ、時変パラメータ、および退化（部分的に決定論的）なシステムを処理でき、初期状態の事前分布の誤った指定に対するロバスト性が向上する。これは、初期状態を確率効果ではなく推定パラメータとして扱うことで達成される。

ABSTRACT

This report presents an Expectation-Maximization (EM) algorithm for estimation of the maximum-likelihood parameter values of constrained multivariate autoregressive Gaussian state-space (MARSS) models. The MARSS model can be written: x(t)=Bx(t-1)+u+w(t), y(t)=Zx(t)+a+v(t), where w(t) and v(t) are multivariate normal error-terms with variance-covariance matrices Q and R respectively. MARSS models are a class of dynamic linear model and vector autoregressive state-space model. Shumway and Stoffer presented an unconstrained EM algorithm for this class of models in 1982, and a number of researchers have presented EM algorithms for specific types of constrained MARSS models since then. In this report, I present a general EM algorithm for constrained MARSS models, where the constraints are on the elements within the parameter matrices (B,u,Q,Z,a,R). The constraints take the form vec(M)=f+Dm, where M is the parameter matrix, f is a column vector of fixed values, D is a matrix of multipliers, and m is the column vector of estimated values. This allows a wide variety of constrained parameter matrix forms. The presentation is for a time-varying MARSS model, where time-variation enters through the fixed (meaning not estimated) f(t) and D(t) matrices for each parameter. The algorithm allows missing values in y and partially deterministic systems where 0s appear on the diagonals of Q or R. Open source code for estimating MARSS models with this algorithm is provided in the MARSS R package on the Comprehensive R Archive Network (CRAN).

研究の動機と目的

• 制約付きおよび非制約付きの両方のMARSSモデルに対応する統一的なEMアルゴリズムの開発。広範なパラメータ制約の取り扱いを可能にする。
• MARSSモデルにおける初期状態事前分布の誤った指定という、長年の問題に対処。これは、バイアスまたは一貫性のない最尤推定量を引き起こす可能性がある。
• EMアルゴリズムを、観測ベクトルにおける欠損観測値および、QまたはRの分散がゼロ（つまり、決定論的成分を含む）の退化システムに対しても拡張する。
• 繰り返しカルマンフィルタリングをパラメータ更新間で実行する必要がなく、安全性が優先される場合を除き、計算効率の良いフレームワークを提供する。
• ユーザーが初期状態を固定パラメータとして推定できるようにし、一貫性のない事前共分散構造に依存する必要を排除する。

提案手法

• 一般化されたパラメータ制約形式を用いる：vec(M) = f + Dm。ここで、Mはパラメータ行列、fは固定ベクトル、Dは設計行列、mは推定値のベクトルである。
• 隠れ状態を欠損データとみなして、EMアルゴリズムを導出。繰り返し、期待値の計算と期待完全データ対数尤度の最大化を実行する。
• 現在のパラメータ推定値の下で、カルマンフィルタおよびスムージングを用いて、滑らかにされた状態平均および共分散を含む、期待される十分統計量を計算する。
• f(t)およびD(t)を時間とともに変化させることで、時変パラメータを扱う。これにより、システムパラメータの動的モデリングが可能になる。
• 初期状態x₀を確率変数の事前分布ではなく、固定の推定パラメータとして扱う。これにより、最尤推定における事前分布由来のバイアスを回避できる。
• 安全モード（control$safe=TRUE）を実装。各パラメータ更新後にカルマンフィルタ／スムージングを再計算し、尤度の低下を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 任意の線形制約を伴うパラメータ行列に対して、一般化されたEMアルゴリズムをMARSSモデルにどのように導出できるか？
• RQ2 真のモデルが非対角行列の共分散構造を示す場合、初期状態に不確実な事前分布または固定事前分布を用いるとどのような影響があるか？
• RQ3 MARSSモデルのEMフレームワーク内で、観測ベクトルにおける欠損データをどのように処理できるか？
• RQ4 初期状態を固定の推定パラメータとして扱うことで、事前分布を用いる場合と比較して、最尤推定のロバスト性がどのように向上するか？
• RQ5 EMアルゴリズムが真の最尤推定量に収束しない条件は何か？このような失敗はどのように検出され、緩和されるか？

主な発見

• 提案されたEMアルゴリズムは、時変パラメータや欠損観測値を含む、広範な制約付きMARSSモデルを効果的に処理できる。
• 初期状態を確率変数の事前分布ではなく、固定の推定パラメータとして扱うことで、事前分布の誤った指定によるバイアスのリスクが顕著に低減される。
• 初期状態を直接推定することで、事前分布の相関構造が誤って指定されていても、アルゴリズムはロバストに保たれる。
• 不確実な事前分布を用いる場合、事前分布由来の相関構造が完全に排除されない。したがって、初期状態の仮定が不一致であっても、完全に問題を解決できるわけではない。
• ニュートン型推定値からの初期化時に尤度の変化をモニタリングすることで、事前分布関連の問題を検出可能。尤度の低下は、事前分布の不一致を示唆する。
• デフォルト実装では、効率性を高めるために、パラメータ更新間でカルマンフィルタの再計算をスキップするが、ユーザーは安全モードを有効化して、尤度の単調増加を保証できる。