[論文レビュー] Estimation of missing data by using the filtering process in a time series modeling

R. Ahmad Mahir, Ahmad M. H. Al-Khazaleh|ArXiv.org|Nov 5, 2008

Hydrology and Drought Analysis参考文献 6被引用数 6

ひとこと要約

本稿では、マレーシアの月間降雨量データ（1969–1997年）を用いて、ARIMAモデリングを活用して時系列データの欠損値を推定する新しいフィルタリング手法を提案する。この手法は、自己相関に基づく重み付き移動平均フィルタを用いて欠損値を補完し、その後にARIMA(1,0,0)(0,1,1)₆モデルを適合させる。完全なデータの際の予測精度（TheilのU = 0.72086）と欠損データの際の精度（U = 0.72635）はほぼ同等であり、欠損観測値に対して高いロバスト性を示す。

ABSTRACT

This paper proposed a new method to estimate the missing data by using the filtering process. We used datasets without missing data and randomly missing data to evaluate the new method of estimation by using the Box - Jenkins modeling technique to predict monthly average rainfall for site 5504035 Lahar Ikan Mati at Kepala Batas, P. Pinang station in Malaysia. The rainfall data was collected from the $1^{st}$ January 1969 to $31^{st}$ December 1997 in the station. The data used in the development of the model to predict rainfall were represented by an autoregressive integrated moving - average (ARIMA) model. The model for both datasets was ARIMA$(1,0,0)(0,1,1)_s$. The result checked with the Naive test, which is the Thiel's statistic and was found to be equal to $U=0.72086$ for the complete data and $U=0.726352$ for the missing data, which mean they were good models.

研究の動機と目的

• 時系列データの欠損値を推定するためのロバストなフィルタリング手法の開発。
• 人工的に欠損値を導入したデータセットにおけるARIMAモデルの予測性能の評価。
• 提案手法によるフィルタリング補完とナイーブ予測との間でのARIMA予測の精度を比較。
• 欠損データが存在する状況でもモデルの精度を維持できるフィルタリングプロセスの有効性の検証。

提案手法

• 提案手法は、完全なデータセットの自己相関から導出された重みを用いる重み付き移動平均フィルタを用いる。
• 欠損値は、完全な系列の相関構造に基づく重みϕiを用いて、周囲の観測値の線形結合で置き換える。
• 補完済みデータセットは、特にARIMA(1,0,0)(0,1,1)₆を用いてボックス・ジェンキンスのARIMAアプローチでモデル化する。
• 最尤推定法を用いてモデルを適合させ、残差の診断チェックによりモデルの適切さを検証する。
• 予測精度は、ARIMA予測とナイーブ予測を比較するTheilのU統計量を用いて評価する。
• 手法は、1969年から1997年までの月平均降雨量データを用いてテストされ、欠損値がランダムに導入され、フィルタリングプロセスで補完された。

実験結果

リサーチクエスチョン

• RQ1 フィルタリングに基づく補完手法は、データに欠損がある場合でもARIMAモデルの予測精度を維持できるか？
• RQ2 提案手法を用いた場合、完全データと欠損データの両方のシナリオにおけるARIMAモデルの性能はどのように比較できるか？
• RQ3 補完済みデータの予測精度は、完全データのものと統計的に同等か？
• RQ4 フィルタリング手法は、平均値補完やナイーブ予測といった標準的手法を上回るか、同等の性能を示すか？

主な発見

• ARIMA(1,0,0)(0,1,1)₆モデルは、完全データおよび欠損データを含む降雨データセットの両方に対して最適な適合モデルと特定された。
• 補完済みデータにおけるARIMAモデルの予測性能（TheilのU = 0.72635）は、完全データの結果（TheilのU = 0.72086）とほぼ同一であり、精度の低下が最小限に抑えられていることを示している。
• モデルの残差には有意な自己相関が認められず、両データセットに対してARIMA(1,0,0)(0,1,1)₆モデルの適切さが確認された。
• 完全データにおけるARIMAモデルのRMSEは0.66457、欠損データバージョンでは0.65539であり、一貫した精度を示している。
• 補完済みデータのモデルパラメータ（ϕ = 0.178, θ = 0.854）は、完全データのパラメータ（ϕ = 0.159, θ = 0.857）と近く、安定性が確認された。
• 結果から、フィルタリングに基づく補完手法が、TheilのU値が1.0未満にとどまり、ナイーブ予測を上回る優れた性能を維持していることが確認された。