[論文レビュー] Application of data compression techniques to time series forecasting

K. S. Chirikhin, Boris Ryabko|arXiv (Cornell University)|Apr 8, 2019

Computational Physics and Python Applications参考文献 13被引用数 5

ひとこと要約

本稿では、データ圧縮と予測の理論的関係を活用して、zlib や bzip2、PPM といった標準的な無損失圧縮アルゴリズムを予測モデルとして用いる、新しい時系列予測手法を提案する。圧縮に基づく確率推定と複数の圧縮アルゴリズムのアンサンブル重み付けを組み合わせることで、T-index および Kp-index 時系列における1ステップ先予測において、オーストラリア統計局や SWPC といった既存の機関を上回る予測精度を達成する。

ABSTRACT

In this study we show that standard well-known file compression programs (zlib, bzip2, etc.) are able to forecast real-world time series data well. The strength of our approach is its ability to use a set of data compression algorithms and "automatically" choose the best one of them during the process of forecasting. Besides, modern data-compressors are able to find many kinds of latent regularities using some methods of artificial intelligence (for example, some data-compressors are based on finding the smallest formal grammar that describes the time series). Thus, our approach makes it possible to apply some particular methods of artificial intelligence for time-series forecasting. As examples of the application of the proposed method, we made forecasts for the monthly T-index and the Kp-index time series using standard compressors. In both cases, we used the Mean Absolute Error (MAE) as an accuracy measure. For the monthly T-index time series, we made 18 forecasts beyond the available data for each month since January 2011 to July 2017. We show that, in comparison with the forecasts made by the Australian Bureau of Meteorology, our method more accurately predicts one value ahead. The Kp-index time series consists of 3-hour values ranging from 0 to 9. For each day from February 4, 2018 to March 28, 2018, we made forecasts for 24 values ahead. We compared our forecasts with the forecasts made by the Space Weather Prediction Center (SWPC). The results showed that the accuracy of our method is similar to the accuracy of the SWPC's method. As in the previous case, we also obtained more accurate one-step forecasts.

研究の動機と目的

• 広く利用可能な標準的なデータ圧縮プログラムが、効果的な時系列予測ツールとして機能できるかどうかを調査すること。
• 実数値および整数値の時系列に対して、圧縮に基づく確率推定が実現可能かどうかを検討すること。
• 実世界の地球物理的時系列において、アンサンブル圧縮手法の性能を既存の予測ベンチマークと比較すること。
• 現代の圧縮アルゴリズムが、暗黙的かつAIに類似したヒューリスティクスを用いて潜在的な規則性を検出することにより、明示的なモデル設計なしに予測に適していることを示すこと。

提案手法

• 圧縮に基づく確率推定式を用いる：$ P_{\text{comp}}(x_{t+1}=a|x_{1}^{t}) = \frac{2^{-|\phi(x_{1}^{t}a)|}}{\sum_{b\in\mathcal{A}} 2^{-|\phi(x_{1}^{t}b)|}} $、ここで $ \phi $ は圧縮関数である。
• 重み付きアンサンブルの圧縮アルゴリズム（zlib、PPM、bzip2）を用い、式 $ P_{\phi}(x_{t+1}=a|x_{1}^{t}) = \frac{\sum_{i=1}^{k} \omega_i 2^{-|\phi_i(x_{1}^{t}a)|}}{\sum_{b\in\mathcal{A}} \sum_{i=1}^{k} \omega_i 2^{-|\phi_i(x_{1}^{t}b)|}} $、ただし $ \sum \omega_i = 1 $ を用いて、動的に最も性能の良い圧縮アルゴリズムを選択する。
• 実数値データを処理するため、STL分解を用いて季節的トレンドを除去し、平滑化、1階差分、2〜16区間に量子化する前処理を実施する。
• 長時間予測の予測範囲を短いサブ予測範囲（例：T-index では3ステップずつ6回、Kp-index では8回）に分割することで、精度を向上させる。
• 整数値のターゲット時系列と整合性を保つために、実数値の予測結果を整数に丸める。

実験結果

リサーチクエスチョン

• RQ1 標準的で市販のデータ圧縮ツール（例：zlib、bzip2、PPM）を時系列予測に効果的に使用できるか？
• RQ2 重み付きアンサンブル選択により複数の圧縮アルゴリズムを統合することで、個々の圧縮アルゴリズムに比べて予測精度が向上するか？
• RQ3 実世界の地球物理的時系列（T-index や Kp-index を含む）におけるMAEの観点から、圧縮に基づく予測法は既存の手法と比べてどうか？
• RQ4 圧縮に基づくモデルは、1ステップ先予測において、機関による予測（例：SWPC や 統計局）を上回ることができるか？

主な発見

• 2011年1月〜2017年7月の月次 T-index 時系列において、1ステップ先予測でオーストラリア統計局の MAE = 12.2 よりも低い MAE = 11.3 を達成した。
• zlib + PPM + rp アンサンブルを用いた手法は、予測範囲1〜4で平均 MAE 15.0、1〜8で18.3、1〜18で23.1を記録し、SWS 予測を上回る1ステップ予測精度を示した。
• 2018年2月〜2018年3月の Kp-index 時系列において、zlib を用いた1ステップ MAE は 0.70、PPM を用いた場合は 0.77 であり、SWPC の 1.11 よりも優れた精度を示した。
• zlib、PPM、rp のアンサンブルは1ステップ MAE 0.77 を達成し、SWPC の 1.11 よりも顕著に低い値を記録し、短期予測における性能向上を確認した。
• 本手法は全予測範囲で競争力ある性能を維持しており、1〜3ステップ先予測では SWPC と同等またはそれ以上の精度を示した。
• 結果から、現代の圧縮アルゴリズムがAIに類似したヒューリスティクスを暗黙的に用いて複雑な時間的パターンを検出できることを示しており、明示的なモデル設計なしに効果的な予測が可能であることが明らかになった。