[論文レビュー] Autoregressive Convolutional Neural Networks for Asynchronous Time Series

Mikołaj Bińkowski, Gautier Marti+1 more|arXiv (Cornell University)|Mar 12, 2017

Stock Market Forecasting Methods被引用数 54

ひとこと要約

Significance-Offset Convolutional Neural Network (SOCNN) を紹介します。これは CNN ベースの自己回帰モデルで、複数の非同期時系列を扱い、過去の観測を結合するデータ依存の重みを学習し、非同期の金融データおよび消費データのいくつかのベースラインを上回っています。

ABSTRACT

We propose Significance-Offset Convolutional Neural Network, a deep convolutional network architecture for regression of multivariate asynchronous time series. The model is inspired by standard autoregressive (AR) models and gating mechanisms used in recurrent neural networks. It involves an AR-like weighting system, where the final predictor is obtained as a weighted sum of adjusted regressors, while the weights are datadependent functions learnt through a convolutional network. The architecture was designed for applications on asynchronous time series and is evaluated on such datasets: a hedge fund proprietary dataset of over 2 million quotes for a credit derivative index, an artificially generated noisy autoregressive series and UCI household electricity consumption dataset. The proposed architecture achieves promising results as compared to convolutional and recurrent neural networks.

研究の動機と目的

• 金融と電力消費を中心とした、不規則にサンプリングされた多変量時系列の予測を動機づける。
• 自己回帰のアイデアをCNNベースの重み付け機構と組み合わせたニューラルアーキテクチャを開発する。
• 非同期入力を扱うための解釈可能な成分（オフセットネットワークと重要度ネットワーク）を提供する。
• SOCNNを、CNN、ResNet、LSTM系列、VARベースラインと比較して、さまざまなデータセットで実証的に比較する。
• auxiliary lossおよびオフセット深さを含むSOCNNの頑健性と訓練ダイナミクスを評価する。）

提案手法

• y_hat_n は、F(x_n^-M) による調整済み回帰量の加重和と、データ依存の重み関数 sigma(S(x_n^-M)) の和として定義する。
• F を、1サイト畳み込み構造を含む線形射影とオフセットネットワーク off(x_n-m) で分解する。
• 局所的な時間依存性を捉え、データ依存の重みを計算する完全畳み込み層を備えた significance network S を用いる。
• オフセット予測子が実際のターゲット変化を近似するよう奨励する補助損失 L_aux を課し、L_tot = L^2 + alpha L_aux で alpha によって制御する。
• Adam、バッチ正規化、ドロップアウト、早期停止、必要に応じた勾配クリッピングを用いて訓練し、CNN、ResNet、LSTM、Phased LSTM、VARと比較する。）

実験結果

リサーチクエスチョン

• RQ1 SOCNNはノイズのある非同期サンプル多変量時系列を予測するのに効果的か。
• RQ2 畳み込みネットワークで学習されたデータ依存の重要度重みは、標準の自己回帰CNNやLSTMより予測精度を改善するか。
• RQ3 オフセット深さと補助損失がSOCNNの性能と安定性に与える影響はどうか。
• RQ4 実世界の非同期な金融データ、電力消費データ、合成の非同期系列で、強力なベースラインと比較してSOCNNはどう機能するか。
• RQ5 SOCNNのアーキテクチャは、追加ノイズやデータの不規則性に対して頑健か。

主な発見

• SOCNNおよびその変種は、非同期、電力、および quotes データセットでベンチマークとなるネットワークを上回る。
• 同期データではSOCNNは概ねベンチマークモデルに匹敵し、非同期性とノイズが最も利益を引き出すことを示唆する。
• オフセットサブネットの深さはほぼ影響が小さいか、マイナスである一方、重要度ネットワークが性能向上を牽引する。
• 補助損失は訓練を安定させ、特に非同期データでテスト誤差を改善する場合がある。
• Phased LSTMは一部タスクで良好だが不安定になることがある。SOCNNは非同期設定でより低い分散とより良い一般化を実現することが多い。
• SOCNNはノイズ追加に対して頑健で、ノイズの多い観測を破棄するより活用する傾向がある。）