[논문 리뷰] Time-series modeling with undecimated fully convolutional neural networks

Roni Mittelman|arXiv (Cornell University)|2015. 08. 03.

Music and Audio Processing참고 문헌 21인용 수 46

한 줄 요약

이 논문은 최대풀링을 업샘플링된 필터로 대체함으로써 입력 및 출력 시계열의 해상도를 유지하는 원인적(causal), 완전 컨볼루션 아키텍처인 비감소 완전 컨볼루션 신경망(UFCNN)을 제안한다. 이는 비감소 웨이블릿 변환에 영감을 받은 것이다. UFCNN은 목표 추적, 음악 모델링, 고빈도 거래와 같은 시계열 작업에서 RNN 및 LSTM 모델을 능가하며, 볼테리 비 알고리즘의 수익 상한선의 50%를 달성하면서도 기울기 소실/폭발 문제를 피하고 효율적인 훈련을 가능하게 한다.

ABSTRACT

We present a new convolutional neural network-based time-series model. Typical convolutional neural network (CNN) architectures rely on the use of max-pooling operators in between layers, which leads to reduced resolution at the top layers. Instead, in this work we consider a fully convolutional network (FCN) architecture that uses causal filtering operations, and allows for the rate of the output signal to be the same as that of the input signal. We furthermore propose an undecimated version of the FCN, which we refer to as the undecimated fully convolutional neural network (UFCNN), and is motivated by the undecimated wavelet transform. Our experimental results verify that using the undecimated version of the FCN is necessary in order to allow for effective time-series modeling. The UFCNN has several advantages compared to other time-series models such as the recurrent neural network (RNN) and long short-term memory (LSTM), since it does not suffer from either the vanishing or exploding gradients problems, and is therefore easier to train. Convolution operations can also be implemented more efficiently compared to the recursion that is involved in RNN-based models. We evaluate the performance of our model in a synthetic target tracking task using bearing only measurements generated from a state-space model, a probabilistic modeling of polyphonic music sequences problem, and a high frequency trading task using a time-series of ask/bid quotes and their corresponding volumes. Our experimental results using synthetic and real datasets verify the significant advantages of the UFCNN compared to the RNN and LSTM baselines.

연구 동기 및 목표

• 표준 CNN이 시계열 모델링에서 최대풀링으로 인해 해상도가 감소하고 입력-출력 시계열 간 시간적 정렬이 깨지는 한계를 해결하기 위해.
• 입력-출력 시간적 해상도를 유지하는 완전 컨볼루션 아키텍처를 개발하여 엔드 투 엔드 시퀀스-투-시퀀스 모델링을 가능하게 하기 위해.
• 재귀적이지 않은 컨볼루션 아키텍처를 활용해 RNN 및 LSTM에서 흔히 발생하는 기울기 소실 및 폭발 문제를 해결하기 위해.
• 베어링 전용 목표 추적, 다성분 음악 모델링, 고빈도 거래와 같은 다양한 시계열 작업에서 UFCNN을 평가하여 일반화 능력과 성능 우수성을 입증하기 위해.

제안 방법

• UFCNN은 시점 t의 예측이 과거 및 현재 입력에만 의존하도록 보장하기 위해 원인적 컨볼루션 레이어를 사용한다.
• 기존 FCN에서의 최대풀링 및 역전치 컨볼루션 연산을 비감소 웨이블릿 변환에 영감을 받아 각 해상도 수준에서 필터의 업샘플링으로 대체한다.
• 다운샘플링을 피함으로써 모든 레이어에서 동일한 시간 해상도를 유지하여 출력 시계열이 입력 시계열 길이와 정확히 일치하도록 한다.
• 회귀의 경우 평균 제곱오차, 분류의 경우 교차 엔트로피를 포함한 작업에 맞춤형 손실 함수를 사용하여 백프로파게이션으로 모델을 훈련시킨다.
• 4개의 해상도 수준을 사용하며, 각 레이어당 필터 길이는 5이며, 150~200개의 필터를 사용하여 계층적 특징 학습을 통해 장기 및 단기 의존성을 모두 포착한다.
• 모델은 목표 추적을 위한 합성 데이터, 다성분 음악을 위한 MAPS 데이터셋, 견적 및 거래량 정보를 포함한 고빈도 거래 데이터셋을 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 비감소 완전 컨볼루션 네트워크는 시계열 데이터를 효과적으로 모델링하면서도 레이어 간 시간 해상도를 유지할 수 있는가?
• RQ2 최대풀링을 필터 업샘플링으로 대체함으로써 표준 FCN 및 RNN 기반 모델에 비해 성능 향상이 이루어지는가?
• RQ3 순차적 의사결정 작업, 예를 들어 고빈도 거래에서 UFCNN은 최적의 볼테리 알고리즘 성능에 근접한 성능을 달성할 수 있는가?
• RQ4 UFCNN은 RNN 및 LSTM에서 흔히 발생하는 기울기 소실 및 폭발 문제를 피할 수 있는가? 이는 더 안정적이고 효율적인 훈련을 가능하게 하는가?

주요 결과

• 고빈도 거래 작업에서 UFCNN은 시간단위 평균 수익 0.13을 달성했으며, 이는 볼테리 알고리즘의 도달 불가능한 상한선의 50%에 해당한다.
• UFCNN은 RNN 기준선(시간단위 수익 0.024)보다 뚜렷이 뛰어나, 순차적 의사결정에서 더 뛰어난 학습 능력을 보여주었다.
• 거래 작업에서 UFCNN은 분류 정확도 0.62를 달성했으며, RNN의 0.38에 비해 더 나은 정책 학습 능력을 보였다.
• LSTM 모델은 훈련 중 일관되게 발산했으며, 이는 재귀 모델의 훈련 불안정성을 강조하고 UFCNN의 훈련 신뢰성 우수성을 입증했다.
• 다성분 음악 모델링 작업에서 UFCNN은 뛰어난 성능을 보였으며, 이는 복잡한 시간적 의존성을 효과적으로 모델링할 수 있음을 시사한다.
• UFCNN은 모든 작업에서 높은 성능를 달성하면서도 RNN 및 LSTM에 내재된 기울기 문제를 피함으로써, 안정적인 최적화를 위한 장기 시계열 모델링에 적합함을 확인했다.