[論文レビュー] Autoregressive Convolutional Neural Networks for Asynchronous Time Series

Mikołaj Bińkowski, Gautier Marti+1 more|arXiv (Cornell University)|Mar 12, 2017

Stock Market Forecasting Methods参考文献 30被引用数 50

ひとこと要約

SOCNNは多変量非同期時系列の回帰のためのSignificance-Offset Convolutional Neural Networkであり、非同期データ上でCNNやLSTMを上回り、他のデータセットでは性能が同等またはそれを上回る。

ABSTRACT

We propose Significance-Offset Convolutional Neural Network, a deep convolutional network architecture for regression of multivariate asynchronous time series. The model is inspired by standard autoregressive (AR) models and gating mechanisms used in recurrent neural networks. It involves an AR-like weighting system, where the final predictor is obtained as a weighted sum of adjusted regressors, while the weights are datadependent functions learnt through a convolutional network. The architecture was designed for applications on asynchronous time series and is evaluated on such datasets: a hedge fund proprietary dataset of over 2 million quotes for a credit derivative index, an artificially generated noisy autoregressive series and UCI household electricity consumption dataset. The proposed architecture achieves promising results as compared to convolutional and recurrent neural networks.

研究の動機と目的

• 非線形依存を伴う多変量非同期時系列の回帰を動機づけ、解決する。
• データ依存の重要性ウェイトと過去の観測値のオフセット予測子を学習するニューラルアーキテクチャを提案する。
• SOCNNをCNN、ResNet、LSTM、Phased LSTM、VARと合成データ、電力消費データ、および金融クォートデータセットで比較評価する。

提案手法

• オフセットサブネットワークと重要性サブネットワークを備えたSOCNNアーキテクチャを導入する。
• 過去の観測を、重みが畳み込みネットワークによって生成される重み付き自己回帰形式で表現する。
• 主なL2損失とともに個々の過去予測子（オフセット）を正則化する補助損失を使用する。
• Adamで訓練し、バッチ正規化、ドロップアウト、早期停止を適用する； diverseなデータセットで複数のベースラインと比較する。
• 時系列依存性（重み）、局所的な重要性（Sネットワーク）、予測子（オフネットワーク）を分離することで解釈可能な構成要素を提供する。

実験結果

リサーチクエスチョン

• RQ1 SOCNNは非同期多変量時系列の回帰性能を標準的なCNNやRNNベースのモデルと比較して改善できるか。
• RQ2 データ依存の重要性ウェイトと過去のオフセット予測子が不規則な時系列の予測精度にどう影響するか。
• RQ3 補助損失とオフセット深さがモデルの性能と訓練安定性に及ぼす影響は何か。
• RQ4 SOCNNは合成的な非同期データ、電力消費データ、実データのクォートデータでどのように性能を示すか。
• RQ5 SOCNNは他のアーキテクチャに対して追加ノイズに対して頑健か。

主な発見

モデル	VAR	CNN	ResNet	LSTM	Phased LSTM	SOCNN1	SOCNN1+
Synchronous 16	0.841 (0.000)	0.154 (0.003)	0.152 (0.001)	0.151 (0.001)	0.166 (0.026)	0.152 (0.001)	0.172 (0.001)
Synchronous 64	0.364 (0.000)	0.029 (0.001)	0.029 (0.001)	0.028 (0.000)	0.038 (0.004)	0.030 (0.001)	0.032 (0.001)
Asynchronous 16	0.577 (0.000)	0.080 (0.032)	0.059 (0.017)	0.038 (0.008)	1.021 (0.090)	0.019 (0.003)	0.026 (0.004)
Asynchronous 64	0.318 (0.000)	0.078 (0.029)	0.087 (0.014)	0.065 (0.020)	0.924 (0.119)	0.035 (0.006)	0.044 (0.118)
Electricity	0.729 (0.005)	0.371 (0.005)	0.394 (0.013)	0.461 (0.011)	0.744 (0.015)	0.163 (0.010)	0.165 (0.012)
Quotes	1.000 (0.019)	0.897 (0.019)	2.245 (0.179)	0.827 (0.024)	0.945 (0.034)	0.387 (0.016)	–

• SOCNNおよびその派生形SOCNN+は、非同期データおよび電力/クォートデータセットでCNN、ResNet、LSTM、Phased LSTM、VARを上回る。
• 非同期データ（16および64）上で、SOCNNはベンチマークネットワークより平均二乗誤差が低く、特にPhased LSTMとResNetをいくつかのタスクで上回る。
• 補助損失は一般に訓練を安定化させ、不祥事データセットでテストエラーを改善する場合があり、オフセット深さの影響は限定的である。
• SOCNNは追加ノイズに対してベンチマークモデルより頑健で、ノイズ入力下でも誤差を低く保つ。
• 同期データ上ではSOCNNは強力なベースラインを常に上回るわけではなく、適用対象となるのは非同期信号のときにその利点が最も顕著であることを示唆する。