[論文レビュー] Autoregressive-Model-Based Methods for Online Time Series Prediction with Missing Values: an Experimental Evaluation

Xi Chen, Hongzhi Wang+3 more|arXiv (Cornell University)|Aug 10, 2019

Data Stream Mining Techniques参考文献 33被引用数 5

ひとこと要約

本論文は、欠損値を扱うために5つの自己回帰モデルに基づくオンライン時系列予測手法を評価し、補完ベースの手法（YW、KF、OGD、AERR）とベースライン（ARLS）を比較している。単純な補完が信頼性があり効果的な戦略であることが判明した一方、AERR や OGD のようなサンプリングベースの手法は、特に欠損率が高い場合や非ガウスノイズの下では性能が著しく劣ることがわかった。

ABSTRACT

Time series prediction with missing values is an important problem of time series analysis since complete data is usually hard to obtain in many real-world applications. To model the generation of time series, autoregressive (AR) model is a basic and widely used one, which assumes that each observation in the time series is a noisy linear combination of some previous observations along with a constant shift. To tackle the problem of prediction with missing values, a number of methods were proposed based on various data models. For real application scenarios, how do these methods perform over different types of time series with different levels of data missing remains to be investigated. In this paper, we focus on online methods for AR-model-based time series prediction with missing values. We adapted five mainstream methods to fit in such a scenario. We make detailed discussion on each of them by introducing their core ideas about how to estimate the AR coefficients and their different strategies to deal with missing values. We also present algorithmic implementations for better understanding. In order to comprehensively evaluate these methods and do the comparison, we conduct experiments with various configurations of relative parameters over both synthetic and real data. From the experimental results, we derived several noteworthy conclusions and shows that imputation is a simple but reliable strategy to handle missing values in online prediction tasks.

研究の動機と目的

• 欠損値を含む時系列データにおけるオンライン自己回帰モデルベースの予測手法の性能を調査すること。
• 実世界および合成時系列における補完ベース手法（YW、KF、OGD、AERR）と非補完戦略の有効性を比較すること。
• さまざまな欠損率、ノイズレベル、時系列長、モデル次数の下で、どの手法が頑健であるかを特定すること。
• 定常性、トレンド安定性、係数の動的変化といった、内在するARモデルの特性が予測精度に与える影響を評価すること。
• オンライン予測において、サンプリングベースの手法と従来の補完ベースの手法のどちらがより適しているかを特定すること。

提案手法

• Yule-Walker（YW）、カルマンフィルタ（KF）、オンライン勾配降下法（OGD）、属性効率的リッジ回帰（AERR）、自己回帰最小二乗法（ARLS）の5つの主流手法を、欠損値を伴うオンラインARモデルベースの予測に適応した。
• 補完戦略を採用：標準的なAR推定手法を適用する前に、過去の予測値を用いて欠損値を埋め込んだ。
• YWを用いて自己相関を推定し、標本共分散を用いてYule-Walker方程式を解くことでAR係数を推定した。
• KFを用いて時系列を隠れ状態を伴う状態空間プロセスとしてモデル化し、予測ステップと測定ステップを繰り返し更新することで推定値を更新した。
• OGDをオンライン線形回帰のための確率的勾配降下法として適用し、欠損データを補完した上で重みを反復的に更新した。
• AERRを半補完手法として用い、完全な補完を行わず、事後分布からサンプリングすることで係数を推定した。

実験結果

リサーチクエスチョン

• RQ1 合成時系列および実世界の時系列において、さまざまな欠損データ率の下で、補完ベースと非補完ベースの手法はどのように性能を発揮するか？
• RQ2 オンライン予測設定において、ノイズ分散、時系列長、モデル次数の変化に対して、これらの手法はどれほど感度を示すか？
• RQ3 非定常トレンド、高い変動範囲、非ガウスノイズを伴う時系列では、これらの手法はどのように性能を発揮するか？
• RQ4 サンプリングベースや直接推定手法と比較して、補完の使用が予測精度を顕著に向上させるか？
• RQ5 実世界データにおいて、時系列の急激な変化や高い欠損率に対して、どの手法が最も頑健か？

主な発見

• 補完は、オンライン時系列予測における欠損値処理において、単純ながらも信頼性があり効果的な戦略であり、非補完手法を上回る性能を示した。
• AERRは一貫して最悪の性能を示し、特に高い欠損率、広い変動範囲、高いノイズ分散の下で顕著に劣化した。これは、オンライン学習におけるサンプリングベース手法の限界を示している。
• OGDも全体的に性能が低く、特に高い欠損率と非ガウスノイズを伴う実世界データでは、データのスパarsityとノイズに敏感であることが明らかになった。
• KFとYWは一般的に良好な性能を示したが、YWは非季節的または不安定トレンドの時系列では失敗し、KFはノイズが非ガウス的になると性能が低下した。
• 予測の最適なモデル次数は、真の内在ARモデル次数とよく一致しており、正しい指定の重要性を裏付けた。
• 実データでは欠損率の増加に伴い予測誤差が非線形に増加したが、合成データでは線形的だった。これは、現実世界の欠損パターンの複雑さを示している。