[論文レビュー] ARMA time-series modeling with graphical models

Bo Thiesson, David Maxwell Chickering+2 more|arXiv (Cornell University)|Jul 7, 2004

Neural Networks and Applications参考文献 11被引用数 17

ひとこと要約

本稿では、古典的ARMAモデルの決定的関係を低分散ガウス分布に置き換えることで、確率的ARMA（σARMA）モデルを提案する。この手法により、欠損データが存在する場合でもEM法を用いた学習と予測が可能となり、滑らかさの向上により精度が向上する。実データを用いた実験により、多次元時系列における相互予測子のサポートも示されている。

ABSTRACT

We express the classic ARMA time-series model as a directed graphical model. In doing so, we find that the deterministic relationships in the model make it effectively impossible to use the EM algorithm for learning model parameters. To remedy this problem, we replace the deterministic relationships with Gaussian distributions having a small variance, yielding the stochastic ARMA (σARMA) model. This modification allows us to use the EM algorithm to learn parameters and to forecast, even in situations where some data is missing. This modification, in conjunction with the graphical-model approach, also allows us to include cross predictors in situations where there are multiple time series and/or additional non-temporal covariates. More surprising, experiments suggest that the move to stochastic ARMA yields improved accuracy through better smoothing. We demonstrate improvements afforded by cross prediction and better smoothing on real data.

研究の動機と目的

• ARMAモデルにおける決定的関係がEMアルゴリズムによるパラメータ学習と不適合である問題を解決すること。
• 欠損時系列データが存在する状況でも、頑健なパラメータ推定と予測を可能にすること。
• グラフィカルモデルフレームワークを用いて、複数の時系列および非時系列共変量を扱えるARMAの拡張を実現すること。
• モデルに確率的要素を導入することで滑らかさを向上させ、予測精度を向上させること。

提案手法

• 依存関係と条件付き分布を明確化するため、古典的ARMAモデルを有向グラフィカルモデルとして表現すること。
• 自己回帰項および移動平均項を、小さな分散を持つ平均0のガウス分布に置き換えることで、確率的推論を可能にする。
• 得られたσARMAモデルに対してEMアルゴリズムを適用し、確率的定式化を活用して実行可能な尤度最大化を実現する。
• 追加の非時系列共変量を条件付き分布に統合することで、グラフィカルモデルを拡張し、相互予測子を含める。
• 統合されたグラフィカル構造を用いて、複数の時系列にわたる同時推論と予測を実行すること。
• グラフィカルモデルの条件付き独立性特性を活用し、事後分布および予測を効率的に計算すること。

実験結果

リサーチクエスチョン

• RQ1 決定的関係が標準的な学習を不可能にするARMAモデルに対して、EMアルゴリズムを効果的に適用できるか？
• RQ2 ARMAモデルに確率的要素を導入することで、滑らかさと予測精度が向上するか？
• RQ3 σARMAモデルは、欠損データと相互予測子を、多次元時系列でどの程度効果的に処理できるか？
• RQ4 実世界のデータにおいて、σARMAモデルは古典的ARMAモデルと比較して予測性能で優れているか？

主な発見

• 決定的ARMA関係を低分散ガウス分布に置き換えることで、EMアルゴリズムによるパラメータ学習が可能になった。
• 実験的評価により、滑らかさの向上によりσARMAモデルがより高い予測精度を達成したことが示された。
• グラフィカルモデルフレームワーク内での確率的推論を活用することで、欠損データを伴う効果的な予測が可能になった。
• グラフィカルモデル構造のおかげで、相互予測子および非時系列共変量の統合が自然に行える。
• 実データを用いた実験により、滑らかさの向上と相互予測機能のおかげで、予測性能に顕著な改善が得られた。