[論文レビュー] State Space Reconstruction for Multivariate Time Series Prediction

Ilias Vlachos, Dimitris Kugiumtzis|ArXiv.org|Sep 12, 2008

Neural Networks and Applications参考文献 1被引用数 10

ひとこと要約

本稿では、非線形時系列予測における多次元状態空間再構築のための2つの手法、偽近接近点（FNN2）と予測誤差最小化（PEM）を提案および比較する。PEMは優れた予測性能を示すが、しばしば過剰適合と一貫性のない埋め込み次元を引き起こす一方、FNN2はより一貫性があり次元が低い埋め込みを提供し、システムの真の自由度をよりよく反映する。

ABSTRACT

In the nonlinear prediction of scalar time series, the common practice is to reconstruct the state space using time-delay embedding and apply a local model on neighborhoods of the reconstructed space. The method of false nearest neighbors is often used to estimate the embedding dimension. For prediction purposes, the optimal embedding dimension can also be estimated by some prediction error minimization criterion. We investigate the proper state space reconstruction for multivariate time series and modify the two abovementioned criteria to search for optimal embedding in the set of the variables and their delays. We pinpoint the problems that can arise in each case and compare the state space reconstructions (suggested by each of the two methods) on the predictive ability of the local model that uses each of them. Results obtained from Monte Carlo simulations on known chaotic maps revealed the non-uniqueness of optimum reconstruction in the multivariate case and showed that prediction criteria perform better when the task is prediction.

研究の動機と目的

• 非線形時系列予測における多次元状態空間再構築のための一貫性があり最適な手法の欠如に対処すること。
• 従来の単変量埋め込み基準（偽近接近点（FNN）および予測誤差最小化（PEM））が、多次元系に効果的に拡張可能かどうかを評価すること。
• さまざまな多次元系およびデータ条件における埋め込み次元選択の予測性能と一貫性を評価すること。
• 多次元非線形力学における埋め込み次元と予測精度のトレードオフを調査すること。
• 標本サイズ、結合強度、および系の複雑さが、埋め込み選択の信頼性に与える影響を調査すること。

提案手法

• すべての変数における埋め込み次元の組み合わせをテストすることで、FNN手法を多次元時系列に適応し（FNN2）、アトラクタを展開する最小埋め込みを特定することを目的とする。
• 予測誤差最小化（PEM）基準を実装し、予測精度を最適化するために、検証用データの予測誤差に基づいて埋め込み次元を選択すること。
• 次元、結合強度、標本サイズを変化させた既知のカオス的系（例：結合Hénon写像、駆動応答系）を用いたモンテカルロシミュレーションにより、2つの手法を比較する。
• 各シミュレーションにおいて、k個の時系列の埋め込みベクトル（m₁, m₂, ..., mₖ）を評価する。ここで、mᵢ は i 番目の変数の埋め込み次元を表す。
• 再構築された状態空間に局所予測モデルを適用し、テストセットを用いて予測誤差を計算して性能を評価する。
• FNN2とPEMの間で選択された埋め込み次元および予測誤差を比較し、一貫性、過剰適合、予測力の評価を行う。

実験結果

リサーチクエスチョン

• RQ1 偽近接近点法は、最小で一貫性のある埋め込み次元を特定するために、多次元時系列に効果的に拡張可能か？
• RQ2 予測誤差最小化（PEM）基準は、多次元非線形系においてFNN2よりもより正確な予測を達成するか？
• RQ3 標本サイズと結合強度は、埋め込み次元選択手法の信頼性と性能にどのように影響するか？
• RQ4 PEMは、不必要に高い埋め込み次元を選択することで、過剰適合を引き起こす傾向があるか？
• RQ5 多次元系には複数の最適な埋め込み構造が存在する場合があり、それらは予測性能にどのように影響するか？

主な発見

• 予測誤差最小化（PEM）は、すべてのテストされた系および条件下で、FNN2よりも一貫して高い予測精度を示した。
• PEMはしばしば必要以上に高い埋め込み次元を選択する傾向にあり、過剰適合および標本サイズの増加に伴う一貫性の欠如を示唆している。
• FNN2は、特に動的構造が既知の系において、より一貫性があり次元が低い埋め込みを提供し、システムの真の自由度をよりよく反映する。
• 小標本サイズおよび中程度の結合強度の下では、FNN2はk=3およびk=4の結合Hénon写像格子において、PEMよりも安定した埋め込み構造の選択に信頼性がある。
• FNN2およびPEMの両方で、複数の最適な埋め込みベクトルが頻繁に選択されることがあり、多次元系における最適再構築の非一意性を示している。
• 時系列にノイズを追加すると、FNN2およびPEMは同等の埋め込み（例：(2,0)、(0,2)、(1,1)）の間でランダムに選択するようになり、埋め込み選択におけるノイズへの感受性を強調している。