[논문 리뷰] Dynamic Prediction Length for Time Series with Sequence to Sequence Networks

Mark E. Harmon, Diego Klabjan|arXiv (Cornell University)|2018. 07. 02.

Stock Market Forecasting Methods인용 수 5

한 줄 요약

이 논문은 시계열 예측에서 순차적-순차적 모델을 위한 동적 예측 길이 메커니즘을 제안하며, 모델의 자신감에 기반해 가변 길이의 출력 예측을 가능하게 한다. 자신감 기반 손실 함수와 맞춤형 기울기 계산을 도입함으로써, 정적 길이 기반 모델보다 우수한 성능을 보이며, ETF 데이터에서 F1 스코어 0.503을 달성하여 표준 LSTM의 2배 이상 높게 기록했다. 이는 주식의 변동성에 따라 자연스럽게 예측 길이를 조정할 수 있음을 의미한다.

ABSTRACT

Recurrent neural networks and sequence to sequence models require a predetermined length for prediction output length. Our model addresses this by allowing the network to predict a variable length output in inference. A new loss function with a tailored gradient computation is developed that trades off prediction accuracy and output length. The model utilizes a function to determine whether a particular output at a time should be evaluated or not given a predetermined threshold. We evaluate the model on the problem of predicting the prices of securities. We find that the model makes longer predictions for more stable securities and it naturally balances prediction accuracy and length.

연구 동기 및 목표

• RNN 및 seq2seq 모델의 시계열 예측에서 고정 길이 출력 예측의 한계를 해결한다.
• 모델이 추론 중 각 출력 단계의 자신감에 기반해 가변 길이의 예측을 생성할 수 있도록 한다.
• 자신감 추정을 통합함으로써 예측 정확도와 출력 길이를 균형 잡는 새로운 손실 함수를 개발한다.
• 개별 주권에 맞춰 동적 예측 수평선을 허용함으로써 변동성이 높은 금융 시계열의 예측 성능을 향상시킨다.
• 동적 예측 길이가 정적 길이 모델보다 더 높은 F1 스코어와 더 견고한 예측을 이끌어내며, 특히 비대칭 변동성 분포를 가진 데이터셋에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• 베이지안 방법에 의존하지 않고 각 예측 단계에서의 모델 자신감을 수량화하기 위해 신뢰도 거리(CD) 측정법을 제안한다.
• 예측 정확도와 출력 길이를 통합하는 새로운 손실 함수를 설계하며, 임계값 처리된 자신감 점수를 사용해 예측 생성을 중단할 시점을 결정한다.
• 가변 길이 출력을 입력 시퀀스 길이에 관계없이 동적으로 억제할 수 있도록 시그모이드 마스킹 함수를 구현한다.
• 어텐션 기반 순차적-순차적 아키텍처를 사용하며, 디코더는 단계별로 예측을 생성하고 자신감 기반 중단 기준을 적용한다.
• 역전파 중에 다양한 출력 길이를 가진 시퀀스를 처리하기 위해 기울기 계산을 특화하여 안정적인 훈련을 보장한다.
• 워크포워드 검증을 사용해 실제 예측 환경을 시뮬레이션하며, 여러 주권을 포함한 금융 시계열 데이터로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 학습 시 고정 길이 출력 시퀀스가 필요 없이, 추론 중 모델이 자신감에 기반해 예측 길이를 동적으로 조정할 수 있는가?
• RQ2 제안된 자신감 기반 손실 함수가 다양한 시계열에서 F1 스코어와 예측 길이의 균형을 어떻게 확보하는가?
• RQ3 저변동성 주권에 대해 더 긴 예측을, 고변동성 주권에 대해 더 짧은 예측을 생성할 수 있는 모델의 능력이 종합적인 예측 성능 향상에 기여하는가?
• RQ4 CD, TV, EMD와 같은 다양한 자신감 함수와 인디케이터 대비 시그모이드 마스킹 전략의 조합이 모델 성능과 내구성에 어떤 영향을 미치는가?
• RQ5 다양한 변동성 프로파일을 가진 다양한 금융 시계열에서 동적 예측 모델이 정적 길이 모델을 능가할 수 있는가?

주요 결과

• 동적 예측 길이 모델은 ETF 데이터셋에서 F1 스코어 0.503을 기록하여, 단일 예측을 수행하는 표준 LSTM 모델의 F1 스코어 0.209보다 유의미하게 높게 기록했다.
• 신뢰도 거리(CD)와 시그모이드 마스킹을 사용한 모델가 가장 높은 성능을 보였으며, ETF 데이터셋에서 최고의 정적 모델 대비 F1 스코어 6.45% 향상되었다.
• 5개의 상품 데이터셋에서는 동적 모델이 모든 정적 모델(1, 4, 7, 10단계 예측)을 압도했으며, 최고의 정적 기준 대비 상대 F1 스코어 21.2% 향상되었다.
• 모델는 저변동성 주권에 대해 자연스럽게 더 긴 예측을 생성하고 고변동성 주권에 대해 더 짧은 예측을 생성함으로써, 시장 조건에 적응하는 행동을 보였다.
• 시그모이드 마스킹 함수는 인디케이터 함수보다 일관되게 뛰어난 성능을 보였지만, 임계값 파라미터 τ의 정교한 튜닝이 필요했다.
• 최적의 구성은 CD 측정법과 시그모이드 마스킹을 사용하며, τ ∈ [0.05, 0.5] 범위와 λ ≤ 1.0을 설정함으로써 F1 스코어와 예측 길이 사이의 최적의 트레이드오���을 달성했다.