[논문 리뷰] Autoregressive Convolutional Neural Networks for Asynchronous Time Series

Mikołaj Bińkowski, Gautier Marti외 1명|arXiv (Cornell University)|2017. 03. 12.

Stock Market Forecasting Methods인용 수 54

한 줄 요약

Significance-Offset Convolutional Neural Network (SOCNN)를 도입합니다. SOCNN은 과거 관측 값을 결합하기 위해 데이터 의존적인 가중치를 학습하는 다변량 비동기 시계열용 CNN 기반 자기회귀 모델로, 비동기 금융 및 소비 데이터에서 여러 기준선보다 성능이 우수합니다.

ABSTRACT

We propose Significance-Offset Convolutional Neural Network, a deep convolutional network architecture for regression of multivariate asynchronous time series. The model is inspired by standard autoregressive (AR) models and gating mechanisms used in recurrent neural networks. It involves an AR-like weighting system, where the final predictor is obtained as a weighted sum of adjusted regressors, while the weights are datadependent functions learnt through a convolutional network. The architecture was designed for applications on asynchronous time series and is evaluated on such datasets: a hedge fund proprietary dataset of over 2 million quotes for a credit derivative index, an artificially generated noisy autoregressive series and UCI household electricity consumption dataset. The proposed architecture achieves promising results as compared to convolutional and recurrent neural networks.

연구 동기 및 목표

• 다 금융 및 전력 소비를 포함한 비정규 샘플링된 다변량 시계열의 예측의 필요성을 동기화합니다.
• 자기회귀 아이디어를 CNN 기반 가중화 메커니즘과 결합하는 신경망 구조를 개발합니다.
• 비동기 입력을 다루기 위한 해석 가능한 구성 요소(오프셋 네트워크 및 중요도 네트워크)를 제공합니다.
• SOCNN을 CNN, ResNet, LSTM 변형 및 VAR 기준선과 다양한 데이터 세트에서 경험적으로 비교합니다.
• 보조 손실 및 오프셋 깊이를 포함한 SOCNN의 견고성 및 학습 역학을 평가합니다.

제안 방법

• y_hat_n이 F(x_n^-M)로 보정된 회귀식들과 데이터 의존적 가중치 함수 sigma(S(x_n^-M))의 가중 합으로 구성되도록 SOCNN을 제안합니다.
• F를 선형 투영과 오프셋 네트워크 off(x_n-m)에 의한 1-사이트 합성 구조로 분해합니다.
• 지역 시간 상관관계를 포착하고 데이터 의존적 가중치를 계산하기 위해 완전 컨볼루션 계층을 갖춘 중요도 네트워크 S를 사용합니다.
• 오프셋 예측기가 실제 목표 변화에 근사하도록 하는 보조 손실 L_aux를 도입하며, L_tot = L^2 + alpha L_aux로 제어합니다.
• Adam, 배치 정규화, 드롭아웃, 조기 중단, 그리고 필요시 그래디언트 클리핑을 사용한 학습 방식으로 CNN, ResNet, LSTM, Phased LSTM, VAR를 비교합니다.

실험 결과

연구 질문

• RQ1 SOCNN이 노이즈가 있는 비동기 샘플링 다변량 시계열을 효과적으로 예측할 수 있는가?
• RQ2 컨볼루션 네트워크에서 학습된 데이터 의존적 중요도 가중치가 표준 자기회귀 CNN이나 LSTM 대비 예측 정확도를 향상시키는가?
• RQ3 오프셋 깊이와 보조 손실이 SOCNN의 성능 및 안정성에 미치는 영향은 무엇인가?
• RQ4 실세계의 비동기 금융 데이터, 전력 소비 데이터 및 합성 비동기 시퀀스에서 SOCNN은 강력한 기준선과 비교하여 어떤 성능을 보이는가?
• RQ5 SOCNN 아키텍처가 추가 입력 노이즈 및 데이터 불규칙성에 대해 로버스트한가?

주요 결과

• SOCNN과 그 변형들이 비동기적인 전력 데이터, 견적 데이터 및 비동기 데이터셋에서 기준 네트워크보다 우수한 성능을 보인다.
• 동기화된 데이터에서 SOCNN은 대략 기준 모델과 대등하게 작동하여 비동기성과 노이즈가 가장 큰 상황에서 이점이 두드러진다.
• 오프셋 서브네트워크의 깊이가 성능 저하에 거의 영향을 주지 않는 반면 중요도 네트워크가 성능 향상을 주도한다.
• 보조 손실은 학습을 안정화시키고 일부 데이터셋에서 테스트 오차를 개선하며 특히 비동기에 대해 유리하다.
• Phased LSTM은 일부 작업에서 잘 작동하지만 불안정할 수 있으며, SOCNN은 비동기 환경에서 더 낮은 분산과 더 나은 일반화를 자주 달성한다.
• SOCNN은 잡음 추가에 강건하며 일반적으로 노이즈가 있는 관찰치를 버리기보다는 더 잘 활용하는 경향이 있다.