[논문 리뷰] Multi-period Time Series Modeling with Sparsity via Bayesian Variational Inference

Daniel Hsu|arXiv (Cornell University)|2017. 07. 03.

Time Series Analysis and Forecasting참고 문헌 22인용 수 16

한 줄 요약

이 논문은 다기의 시계열 데이터를 위한 베이지안 변분 추론 모델을 제안하며, 다중 전이 기간과 희박성 유도 Horseshoe 사전분포를 갖는 계층적 잠재 변수를 사용하여 관련이 없는 입력 변수를 자동으로 제거합니다. 이 방법은 장기적 의존성을 일일, 주간 및 월간 추세 간에 모델링하면서 부적절한 입력에서 오는 노이즈를 억제함으로써 합성 데이터와 실제 매출 데이터 모두에서 예측 정확도를 향상시킵니다.

ABSTRACT

In this paper, we use augmented the hierarchical latent variable model to model multi-period time series, where the dynamics of time series are governed by factors or trends in multiple periods. Previous methods based on stacked recurrent neural network (RNN) and deep belief network (DBN) models cannot model the tendencies in multiple periods, and no models for sequential data pay special attention to redundant input variables which have no or even negative impact on prediction and modeling. Applying hierarchical latent variable model with multiple transition periods, our proposed algorithm can capture dependencies in different temporal resolutions. Introducing Bayesian neural network with Horseshoe prior as input network, we can discard the redundant input variables in the optimization process, concurrently with the learning of other parts of the model. Based on experiments with both synthetic and real-world data, we show that the proposed method significantly improves the modeling and prediction performance on multi-period time series.

연구 동기 및 목표

• 기존의 RNN 및 DBN 모델이 시계열 데이터에서 다중 시간 척도에 걸친 장기적 의존성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 예측 성능을 떨어뜨릴 수 있는 관련 없거나 중복된 입력 변수를 자동으로 식별하고 제거할 수 있는 방법을 개발하기 위해.
• 일일, 주간 및 월간 추세와 같은 다기의 동적 특성을 계층적 잠재 변수 구조와 별도의 전이 기간을 사용하여 모델링하기 위해.
• 베이지안 희박 학습과 비중앙화 Horseshoe 사전분포를 심층 생성 모델에 통합하여 안정적이고 해석 가능한 시계열 모델링을 수행하기 위해.
• 모델의 성능을 알려진 구조를 갖는 합성 데이터와 고차원적이고 잡음이 많은 입력을 갖는 실제 매출 데이터에서 평가하기 위해.

제안 방법

• 모델은 다중 계층으로 구성된 계층적 잠재 변수 구조를 사용하며, 각 계층은 별도의 전이 기간(S₁=1, S₂=7, S₃=30 등)을 갖는다. 이를 통해 다양한 시간 척도를 포착한다.
• 비중앙화 Horseshoe 사전분포를 적용한 희박화된 베이지안 신경망을 사용하여 입력 변수를 처리함으로써, 관련 없는 입력이 0에 수렴하도록 자동 선택이 가능해진다.
• 추론 네트워크는 스택된 게이트드 순환 유닛(Gated Recurrent Units, GRUs)을 사용하여 각 계층의 잠재 변수를 추정하며, 각 계층의 전이가 이전 상태와 입력에 조건화된 다변량 정규분포로 모델링된다.
• 디코더는 모든 현재 잠재 변수를 사용하여 목표 시계열을 재구성하는 다층 신경망이다.
• 모델은 베이지안 변분 추론을 통해 훈련되며, 재구성과 정규화를 균형 잡는 가중치가 부여된 KL 발산 항을 포함하는 변분 하한을 최적화한다.
• 목적 함수의 KL 발산 항에 1보다 작은 계수 ξ를 적용하여 실제 환경에서의 일반화 및 예측 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 일일, 주간 및 월간 추세를 갖는 시계열 데이터에서 심층 생성 모델이 다기의 시간 동적 특성을 효과적으로 포착할 수 있는가?
• RQ2 Horseshoe 사전분포를 통한 베이지안 희박 학습이 시계열 모델링에서 관련 없는 입력 변수를 효과적으로 식별하고 억제할 수 있는가?
• RQ3 VRNN, SRNN 및 LSTM과 같은 기존 모델과 비교해 볼 때, 제안된 모델은 합성 데이터 및 실제 데이터에서 예측 성능 측면에서 어떻게 성과를 내는가?
• RQ4 Horseshoe 사전분포의 비중앙화 파arameterization이 고차원 입력 환경에서 모델의 안정성과 희박성 향상에 기여하는가?
• RQ5 KL 발산 가중치 계수 ξ를 조정할 경우 실제 시계열 예측에서 예측 정확도가 얼마나 향상되는가?

주요 결과

• 증가하는 추세 강도(α = 0.1, 0.15, 0.2)를 갖는 합성 데이터에서, 제안된 모델은 VRNN(-12.684), SRNN(-13.523), LSTM(-17.543)보다 유의미하게 낮은 음의 로그우도(-9.550, α=0.2일 때)를 기록했다.
• 실제 Rossmann 매출 데이터에서 제안된 모델은 ξ=1e-3일 때 RMSPE 0.110을 기록하여 VRNN(0.119), SRNN(0.122), LSTM(0.182)를 모두 앞섰다.
• 합성 실험에서 다양한 추세 강도와 입력 노이즈 수준에 대해 모델은 우수한 성능을 유지하며 뛰어난 내구성을 보였다.
• 가중치가 부여된 KL 발산 항(ξ < 1)을 사용함으로써 예측 정확도가 크게 향상되었으며, 최적의 RMSPE는 ξ=1e-3에서 달성되었다.
• Horseshoe 사전분포는 영향이 적거나 없는 입력 변수(예: 원유 가격, 환율)를 효과적으로 식별하고 억제하였다.
• 다중 전이 기간을 갖는 계층적 잠재 구조는 단일 단계 모델인 LSTM 또는 표준 RNN이 효과적으로 모델링하지 못하는 복잡한 다중 척도 시간 의존성을 포착할 수 있었다.