[論文レビュー] AR-Net: A simple Auto-Regressive Neural Network for time-series

Oskar Triebe, Nikolay Laptev+1 more|arXiv (Cornell University)|Nov 27, 2019

Time Series Analysis and Forecasting参考文献 22被引用数 50

ひとこと要約

AR-Net はフィードフォワードネットワークを用いて Classic-AR の係数を模倣するニューラルネットワークベースのアプローチを提示し、AR順序に対して線形スケーリングを達成するとともに、疎で解釈性の高い長距離自己回帰モデルを実現する。

ABSTRACT

In this paper we present a new framework for time-series modeling that combines the best of traditional statistical models and neural networks. We focus on time-series with long-range dependencies, needed for monitoring fine granularity data (e.g. minutes, seconds, milliseconds), prevalent in operational use-cases. Traditional models, such as auto-regression fitted with least squares (Classic-AR) can model time-series with a concise and interpretable model. When dealing with long-range dependencies, Classic-AR models can become intractably slow to fit for large data. Recently, sequence-to-sequence models, such as Recurrent Neural Networks, which were originally intended for natural language processing, have become popular for time-series. However, they can be overly complex for typical time-series data and lack interpretability. A scalable and interpretable model is needed to bridge the statistical and deep learning-based approaches. As a first step towards this goal, we propose modelling AR-process dynamics using a feed-forward neural network approach, termed AR-Net. We show that AR-Net is as interpretable as Classic-AR but also scales to long-range dependencies. Our results lead to three major conclusions: First, AR-Net learns identical AR-coefficients as Classic-AR, thus being equally interpretable. Second, the computational complexity with respect to the order of the AR process, is linear for AR-Net as compared to a quadratic for Classic-AR. This makes it possible to model long-range dependencies within fine granularity data. Third, by introducing regularization, AR-Net automatically selects and learns sparse AR-coefficients. This eliminates the need to know the exact order of the AR-process and allows to learn sparse weights for a model with long-range dependencies.

研究の動機と目的

• 長距離依存性を持つ時系列をモデル化するために、従来のARモデルとニューラルネットワークを橋渡しする。
• 高次の自己回帰過程に対する、Classic-ARの解釈可能でスケーラブルな代替を提供する。
• 正確なAR順序を必要とせずに疎なAR係数の学習を可能にする。
• AR-Net が Classic-AR と同一の AR 係数を学習する一方で計算的利点を提供することを実証する。

提案手法

• 最初の層の重みが AR 係数に対応するフィードフォワードニューラルネットワークを用いて AR ダイナミクスをモデル化する。
• Classic-AR の適合と一致させるため、学習目的関数として平均二乗誤差を用いる。
• 無意味な係数をゼロ化するように疎性志向の正則化を導入する。
• ノイズのあるAR過程から生成した合成データ上で AR-Net を Classic-AR と比較する。
• 係数精度（sTPE）とワンステップ先予測の MSE を評価する。
• AR-Net と Classic-AR の AR-order適合における線形対数理的複雑さの議論。

実験結果

リサーチクエスチョン

• RQ1 同じデータに適合させた場合、AR-Net は Classic-AR と同一の AR 係数を学習できるか？
• RQ2 AR-Net は AR-order に対して線形にスケールし、計算が困難にならず長距離依存性を可能にするか？
• RQ3 正則化は予測精度を損なうことなく疎な AR 係数を誘発できるか？
• RQ4 真の AR order が不明な場合や小規模データセットで AR-Net はどのように機能するか？
• RQ5 p が増大するにつれて AR-Net の最小二乗法 AR に対する計算優位性はどの程度か？

主な発見

• AR-Net は Classic-AR と同一の AR 係数を学習し、同様のワンステップ先 MSE を達成する。
• AR-Net の学習の複雑さは AR order p に対して線形にスケールするのに対し、Classic-AR は二次的にスケールするため、長距離依存性には AR-Net が有利である。
• 正則化により疎な AR 係数を実現できる。真の疎性が非常に高い場合でも効果的で、実験では最大で 0.003 の疎性までとした。
• 疎な設定では、AR-Net は Classic-AR よりも sTPE 精度が優れており、予測性能はほぼ同等である。
• 小規模データセットと強いノイズ下でも AR-Net は有効で、MSE は同等ながら係数の疎性は Classic-AR より優れている。