[論文レビュー] Bayesian inference of time varying parameters in autoregressive processes

Christoph Mark, Claus Metzner+1 more|arXiv (Cornell University)|May 7, 2014

Fault Detection and Control Systems参考文献 2被引用数 4

ひとこと要約

本稿では、観測データ $u_t$ のみを用いて、1次時変動自己回帰（TVAR(1)）過程における時変動パラメータ $q_t$ と $σ_t$ を推定する逐次ベイズ推論手法を提案する。この手法は、幅広い窓サイズにおいてスライディングウィンドウ最尤推定を上回り、不確実性の定量化に適した完全な事後分布を提供し、離散的隠れ状態を仮定せずに、徐々な変化および急激な変化の両方を検出可能である。

ABSTRACT

In the autoregressive process of first order AR(1), a homogeneous correlated time series $u_t$ is recursively constructed as $u_t = q\; u_{t-1} + σ\;ε_t$, using random Gaussian deviates $ε_t$ and fixed values for the correlation coefficient $q$ and for the noise amplitude $σ$. To model temporally heterogeneous time series, the coefficients $q_t$ and $σ_t$ can be regarded as time-dependend variables by themselves, leading to the time-varying autoregressive processes TVAR(1). We assume here that the time series $u_t$ is known and attempt to infer the temporal evolution of the 'superstatistical' parameters $q_t$ and $σ_t$. We present a sequential Bayesian method of inference, which is conceptually related to the Hidden Markov model, but takes into account the direct statistical dependence of successively measured variables $u_t$. The method requires almost no prior knowledge about the temporal dynamics of $q_t$ and $σ_t$ and can handle gradual and abrupt changes of these superparameters simultaneously. We compare our method with a Maximum Likelihood estimate based on a sliding window and show that it is superior for a wide range of window sizes.

研究の動機と目的

• 観測時系列 $u_t$ からの時変動相関係数 $q_t$ とノイズ振幅 $σ_t$ の推定を、それらの動的挙動に関する事前知識なしに行うこと。
• 隠れマルコフモデルのような離散的隠れ状態モデルの制限を克服し、$q_t$ と $σ_t$ の両方の徐々な変化および急激な変化を同時に検出できる手法を開発すること。
• 各時刻における完全な事後分布 $p(q_t, σ_t)$ を提供し、パラメータ推定の不確実性を組み込み済みで定量化できること。
• 真の時変動パラメータを再構築する際、さまざまな窓サイズにおいて標準的なスライディングウィンドウ最尤推定を上回ること。

提案手法

• TVAR(1)モデルからの尤度 $p(u_t | q_t, σ_t, u_{t-1})$ を根拠に、逐次ベイズ更新を用いて事後分布 $p(q_t, σ_t | u_{1:t})$ を計算する。
• 滑らかな遷移（徐々の変化）と急激なジャンプ（突然のシフト）を組み合わせた、カーネルに基づく事前分布 $K(q_t, σ_t | q_{t-1}, σ_{t-1})$ を採用する。
• 事後分布を $q_t$ と $σ_t$ の離散グリッド上に表現することで、パrametricな仮定を必要とせず、非ガウス分布や多峰性分布を扱える。
• 前向き後ろ向きアルゴリズムを適用し、時間平均事後分布 $\langle p(q_t, σ_t) \rangle_t$ を計算する。これは、パrameter空間における動的レジームやクラスタの特定に有用である。
• パラメトリックな形式に制限されないグリッドベースの近似を用いることで、事後分布の複数モードの検出が可能となり、パラメータ遷移に関する不確実性を捉えることができる。
• カーネル $K$ を用いて $q_t$ と $σ_t$ の動的挙動に関する事前知識を組み込み、特定の応用にカスタマイズ可能である。

実験結果

リサーチクエスチョン

• RQ1 観測データ $u_t$ からの時変動パラメータ $q_t$ と $σ_t$ の推定において、それらの時間的挙動に関する最小限の事前仮定のもとで、ベイズ的手法が有効に機能するか。
• RQ2 提案手法のベイズ推論性能は、さまざまな窓サイズにおけるスライディングウィンドウ最尤推定と比較してどの程度優れているか。
• RQ3 離散的隠れ状態を仮定せずに、$q_t$ と $σ_t$ の両方の徐々な変化および急激な変化を検出できるか。
• RQ4 完全な事後分布 $p(q_t, σ_t)$ が、点推定よりも不確実性の定量化をどの程度改善するか。
• RQ5 時間平均事後分布は、$q_t$ と $σ_t$ のパラメータ空間において、明確な動的レジームやクラスタを明らかにできるか。

主な発見

• すべてのテスト窓サイズにおいて、スライディングウィンドウ最尤推定よりも低い平均二乗誤差（MSE）を達成し、MSE比 $r < 1$ が平均的に観察された。
• 定数、正弦波的、段階的変化の3つのテストケースにおいて、いかなる窓幅に対しても、ベイズ手法は一貫してMLEを上回った。これは、堅牢性を示している。
• $q_t$ と $σ_t$ の急激な変化を成功裏に検出でき、遷移期には事後分布が多峰性を示した。
• 時間平均事後分布は、重複する部分を含むクラスタを含む、明確に分離されたパラメータ空間上の動的レジームを明らかにした。これは、離散的状態モデルでは検出が難しい。
• 各時刻における完全な事後分布は、不確実性の組み込み済みの測度を提供しており、分布が広いほど推定の曖昧性が高くなることを示している。
• 柔軟なカーネルベースの事前分布と非パラメトリックなグリッド表現のおかげで、真のパラメータ動的挙動が複雑または未知であっても、本手法は有効に機能する。