[논문 리뷰] AR-Net: A simple Auto-Regressive Neural Network for time-series

Oskar Triebe, Nikolay Laptev외 1명|arXiv (Cornell University)|2019. 11. 27.

Time Series Analysis and Forecasting참고 문헌 22인용 수 50

한 줄 요약

AR-Net은 피드포워드 네트워크를 사용해 Classic-AR 계수를 모방하는 신경망 기반 접근법으로, AR 차수에 따라 선형 스케일링을 달성하고 희소하며 해석 가능한 장기 의존적 자기회귀 모델을 가능하게 한다.

ABSTRACT

In this paper we present a new framework for time-series modeling that combines the best of traditional statistical models and neural networks. We focus on time-series with long-range dependencies, needed for monitoring fine granularity data (e.g. minutes, seconds, milliseconds), prevalent in operational use-cases. Traditional models, such as auto-regression fitted with least squares (Classic-AR) can model time-series with a concise and interpretable model. When dealing with long-range dependencies, Classic-AR models can become intractably slow to fit for large data. Recently, sequence-to-sequence models, such as Recurrent Neural Networks, which were originally intended for natural language processing, have become popular for time-series. However, they can be overly complex for typical time-series data and lack interpretability. A scalable and interpretable model is needed to bridge the statistical and deep learning-based approaches. As a first step towards this goal, we propose modelling AR-process dynamics using a feed-forward neural network approach, termed AR-Net. We show that AR-Net is as interpretable as Classic-AR but also scales to long-range dependencies. Our results lead to three major conclusions: First, AR-Net learns identical AR-coefficients as Classic-AR, thus being equally interpretable. Second, the computational complexity with respect to the order of the AR process, is linear for AR-Net as compared to a quadratic for Classic-AR. This makes it possible to model long-range dependencies within fine granularity data. Third, by introducing regularization, AR-Net automatically selects and learns sparse AR-coefficients. This eliminates the need to know the exact order of the AR-process and allows to learn sparse weights for a model with long-range dependencies.

연구 동기 및 목표

• 전통적인 AR 모델과 신경망을 연결하여 장거리 의존성을 갖는 시계열을 모델링한다.
• 고차 자기회귀(processes)에서 Classic-AR에 대한 해석 가능하고 확장 가능한 대안을 제공한다.
• 정확한 AR 차수를 필요로 하지 않도록 희소한 AR 계수 학습을 가능하게 한다.
• AR-Net이 Classic-AR와 동일하게 AR 계수를 학습하면서 계산상의 이점을 제공한다는 것을 입증한다.

제안 방법

• AR 계수에 해당하는 첫 번째 계층 가중치를 갖는 피드포워드 신경망으로 AR 다이내믹스를 모델링한다.
• Classic-AR 적합과 일치하도록 학습 목표로 평균 제곱 오차(MSE)를 사용한다.
• 사소한 계수의 0화를 유도하는 희소성 지향 정규화를 도입한다.
• 노이즈가 있는 AR 프로세스로 생성된 합성 데이터에서 AR-Net과 Classic-AR을 비교한다.
• 계수 정밀도(sTPE)와 한걸음 앞 예측 MSE를 모두 평가한다.
• AR 차수 적합에서 AR-Net과 Classic-AR 간의 선형 대 이차 복잡도에 대해 논의한다.

실험 결과

연구 질문

• RQ1 동일 데이터에 적합될 때 AR-Net이 AR 계수를 Classic-AR과 동일하게 학습할 수 있는가?
• RQ2 AR-Net은 AR 차수에 대해 선형으로 스케일링하며 계산 불능 없이 장거리 의존성을 가능하게 하는가?
• RQ3 정규화가 예측 정확도를 손상시키지 않으면서 희소한 AR 계수를 유도할 수 있는가?
• RQ4 실제 AR 차수가 알려지지았거나 작은 데이터세트에서 AR-Net의 성능은 어떠한가?
• RQ5 p가 증가함에 따라 최소제곱 AR에 비해 AR-Net의 계산적 이점은 무엇인가?

주요 결과

• AR-Net은 AR 계수를 Classic-AR과 동일하게 학습하고 비슷한 한 걸음 ahead MSE를 달성한다.
• AR-Net의 학습 복잡도는 AR 차수 p에 대해 선형으로 스케일링하는 반면, Classic-AR은 제곱으로 스케일링되어 AR-Net은 장거리 의존성에 더 바람직하다.
• 정규화는 실제 희소성이 매우 높아도(실험에서 최대 0.003 희소성까지) 효과적인 희소 AR 계수를 가능하게 한다.
• 희소 설정에서 AR-Net은 Classic-AR보다 우수한 sTPE 정밀도를 보이며 예측 성능은 거의 동일하다.
• AR-Net은 작은 데이터세트와 강한 노이즈에서도 효과적이며 MSE는 비슷하지만 계수 희소성은 Classic-AR보다 더 우수하다.