[論文レビュー] Model identification for ARMA time series through convolutional neural networks

Wai Hoh Tang, Adrian Röllin|arXiv (Cornell University)|Apr 11, 2018

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、シミュレートされたARMA時系列で訓練された畳み込みニューラルネットワーク（CNN）を用いて、従来の尤度ベースの基準を回避し、最適なARMAモデル次数を特定することを提案する。訓練されたCNNは、AIC/BICに比べて著しく高い精度と、桁違いに高速な推論を達成しており、その後続の予測性能の向上にも寄与する。

ABSTRACT

In this paper, we use convolutional neural networks to address the problem of model identification for autoregressive moving average time series models. We compare the performance of several neural network architectures, trained on simulated time series, with likelihood based methods, in particular the Akaike and Bayesian information criteria. We find that our neural networks can significantly outperform these likelihood based methods in terms of accuracy and, by orders of magnitude, in terms of speed.

研究の動機と目的

• 時系列解析において重要なが、非自明な課題であるARMAモデル次数の同定に取り組む。
• 従来の尤度ベースの手法（例：AIC、BIC）の限界を克服する。これらは計算が高コストであり、複雑なまたは長い時系列では精度が低い。
• 特徴工学を施さずに、そのままの時系列データ（前処理なし）を入力として使用する深層学習（特にCNN）の可能性を検討する。
• モデル同定の精度が、その後続の予測性能に与える影響を評価する。
• エンドツーエンドの深層学習が、ARMAモデル選択において、古典的統計的手法を速度と精度の両面で上回ることを示す。

提案手法

• 既知の真の次数を持つ大規模な合成ARMA時系列データで、残差ネットワーク（ResNetスタイル）を訓練する。
• 前処理や特徴抽出（例：ACF、PACF、ESACFなど）を施さずに、そのままの時系列データ（中心化・スケーリング済み）を入力とする。
• 100通りの組み合わせ（p, q ≤ 9）の離散的なARおよびMA次数（p, q）を分類するようにCNNを訓練する。
• 正解の次数予測確率を最大化するように、交差エントロピー損失を最適化する。
• 長さ1,000、3,000、10,000の時系列テストセットにおいて、推論速度と精度を評価する。
• CNNが同定したARMAモデル、AIC、BIC（フル探索およびステップワイズ探索）を用いた予測性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 シミュレートされたARMA時系列で訓練されたCNNは、従来のAICおよびBICに比べ、正しいARMAモデル次数を同定する上で優れているか？
• RQ2 深層学習に基づくモデル同定手法の推論速度は、尤度ベースの基準と比べてどの程度異なるか？
• RQ3 CNNによるモデル次数の改善は、時系列予測の精度向上に寄与するか？
• RQ4 再訓練なしで、さまざまな時系列長（1,000、3,000、10,000）にわたってCNNアプローチはどの程度頑健か？
• RQ5 統計的特徴抽出を一切行わずに、そのままの時系列データを入力として使用した場合、性能にどの程度影響を与えるか？

主な発見

• CNNモデルは、長さ1,000の時系列において、正しいARMA次数（p, q）を92.7％の精度で同定した。これは、AIC（68.9％）およびBICフル探索（66.9％）を著しく上回った。
• CNNは、フルAIC/BIC探索の1,000倍以上も高速であり、推論時間はミリ秒オーダーであるのに対し、フル探索は数分にのぼった。
• MAEおよびRMSEという予測誤差は、すべての時系列長において、CNNが同定したARMAモデルを用いた場合に、AICおよびBIC手法よりも一貫して低かった。
• 真の次数を完全に同定できなくても、CNNのモデル選択は「Acme」シナリオ（真の次数）に近い予測性能を示し、実用的価値が高いことが示された。
• CNNはさまざまな時系列長にわたり高い性能を維持した。MA次数の分類精度はp=9でも40％以上を維持し、長期間の時系列でも劣化が最小限に抑えられた。
• 結果から、エンドツーエンドの深層学習が、ARMAモデル同定において、古典的統計的手法を速度と精度の両面で凌駆することを示した。