[논문 리뷰] Autoregressive Convolutional Neural Networks for Asynchronous Time Series

Mikołaj Bińkowski, Gautier Marti외 1명|arXiv (Cornell University)|2017. 03. 12.

Stock Market Forecasting Methods참고 문헌 30인용 수 50

한 줄 요약

SOCNN은 다변량 비동기 시계열 회귀를 위한 Significance-Offset Convolutional Neural Network이며, 비동기 데이터에서 CNN과 LSTM보다 성능이 우수하거나 동등하게 유지하면서 다른 데이터셋에서도 우수한 성능을 달성한다.

ABSTRACT

We propose Significance-Offset Convolutional Neural Network, a deep convolutional network architecture for regression of multivariate asynchronous time series. The model is inspired by standard autoregressive (AR) models and gating mechanisms used in recurrent neural networks. It involves an AR-like weighting system, where the final predictor is obtained as a weighted sum of adjusted regressors, while the weights are datadependent functions learnt through a convolutional network. The architecture was designed for applications on asynchronous time series and is evaluated on such datasets: a hedge fund proprietary dataset of over 2 million quotes for a credit derivative index, an artificially generated noisy autoregressive series and UCI household electricity consumption dataset. The proposed architecture achieves promising results as compared to convolutional and recurrent neural networks.

연구 동기 및 목표

• 비선형 의존성을 가진 다변량 비동기 시계열의 회귀 문제를 제기하고 해결한다.
• 과거 관측값에 대한 데이터 의존적 중요도 가중치와 오프셋 예측자를 학습하는 신경망 아키텍처를 제안한다.
• 합성 데이터, 전력 소모 데이터, 금융 호가 데이터세트에서 SOCNN을 CNN, ResNet, LSTM, Phased LSTM, VAR과 비교 평가한다.

제안 방법

• 오프셋 서브네트워크와 중요도 서브네트워크를 갖춘 SOCNN 아키텍처를 도입한다.
• 과거 관측치를 커널 네트워크가 생성하는 가중치로 구성된 가중치 회귀형태로 표현한다.
• 주손실(L2 손실)과 함께 개별 과거 예측자(오프셋)에 대한 보조 손실을 사용하여 규제한다.
• 배치 정규화, 드롭아웃, 얼리 스톱핑이 포함된 Adam으로 학습하며; 다양한 데이터셋에서 여러 기준선과 비교한다.
• 시간적 의존성(가중치), 국부적 중요도(S 네트워크), 예측자(오프 네트워크)를 분리해 해석 가능한 구성요소를 제공한다.

실험 결과

연구 질문

• RQ1 SOCNN이 표준 CNN 및 RNN 기반 모델보다 비동기 다변량 시계열의 회귀 성능을 향상시킬 수 있는가?
• RQ2 데이터 의존적 중요도 가중치와 각 과거 오프셋 예측자가 불규칙한 시계열에서 예측 정확도에 어떤 영향을 미치는가?
• RQ3 보조 손실과 오프셋 깊이가 모델 성능 및 학습 안정성에 미치는 영향은 무엇인가?
• RQ4 합성 비동기 데이터, 전력 소비 데이터, 실제 호가 데이터에서 SOCNN의 성능은 어떠한가?
• RQ5 추가 노이즈에 대해 다른 아키텍처에 비해 SOCNN의 강건성은 어떤가?

주요 결과

모델	VAR	CNN	ResNet	LSTM	Phased LSTM	SOCNN1	SOCNN1+
Synchronous 16	0.841 (0.000)	0.154 (0.003)	0.152 (0.001)	0.151 (0.001)	0.166 (0.026)	0.152 (0.001)	0.172 (0.001)
Synchronous 64	0.364 (0.000)	0.029 (0.001)	0.029 (0.001)	0.028 (0.000)	0.038 (0.004)	0.030 (0.001)	0.032 (0.001)
Asynchronous 16	0.577 (0.000)	0.080 (0.032)	0.059 (0.017)	0.038 (0.008)	1.021 (0.090)	0.019 (0.003)	0.026 (0.004)
Asynchronous 64	0.318 (0.000)	0.078 (0.029)	0.087 (0.014)	0.065 (0.020)	0.924 (0.119)	0.035 (0.006)	0.044 (0.118)
Electricity	0.729 (0.005)	0.371 (0.005)	0.394 (0.013)	0.461 (0.011)	0.744 (0.015)	0.163 (0.010)	0.165 (0.012)
Quotes	1.000 (0.019)	0.897 (0.019)	2.245 (0.179)	0.827 (0.024)	0.945 (0.034)	0.387 (0.016)	–

• SOCNN 및 그 변형인 SOCNN+이 CNN, ResNet, LSTM, Phased LSTM, VAR보다 비동기 및 전력/호가 데이터셋에서 우수한 성능을 보인다.
• 비동기 데이터(16, 64)에서 SOCNN이 벤치마크 네트워크보다 더 낮은 평균 제곱 오차를 달성하며, 특히 여러 작업에서 Phased LSTM 및 ResNet를 능가한다.
• 보조 손실은 일반적으로 학습을 안정화하고 비동기 데이터에서 테스트 오차를 개선할 수 있으며, 오프셋 깊이는 제한된 영향을 준다.
• SOCNN은 추가 노이즈에 대해 벤치마크 모델보다 더 강건하며, 노이즈 입력에서도 더 낮은 오차를 유지한다.
• 동기화 데이터에서는 SOCNN이 기존 강력한 베이스라인과 비슷하거나 일관되게 능가하지 못하며, 그 이점은 비동기 신호에서 가장 두드러진다는 것을 시사한다.