[논문 리뷰] Forecasting of Non-Stationary Sales Time Series Using Deep Learning

Bohdan M. Pavlyshenko|arXiv (Cornell University)|2022. 05. 23.

Forecasting Techniques and Applications인용 수 4

한 줄 요약

이 논문은 비 stationary한 판매 시계열의 예측 정확도를 향상시키기 위해 전용 추세 보정 블록을 갖춘 딥러닝 모델을 제안한다. 모델은 판매량과 시간 추세 항목의 가중치(정규화된 시간 × 예측된 가중치)를 동시에 예측하며, 이 가중치는 예측된 판매량에 더해진다. 전체 데이터셋에서 RMSE가 1076에서 943으로 유의미하게 감소하였고, 개별 매장에서는 더욱 뚜렷한 향상이 관찰되었다.

ABSTRACT

The paper describes the deep learning approach for forecasting non-stationary time series with using time trend correction in a neural network model. Along with the layers for predicting sales values, the neural network model includes a subnetwork block for the prediction weight for a time trend term which is added to a predicted sales value. The time trend term is considered as a product of the predicted weight value and normalized time value. The results show that the forecasting accuracy can be essentially improved for non-stationary sales with time trends using the trend correction block in the deep learning model.

연구 동기 및 목표

• 모델링되지 않은 시간 추세로 인한 비 stationary한 판매 시계열의 예측 편향을 해결한다.
• 특히 신제품이나 신규 매장의 경우와 같이 단기적이거나 매우 비 stationary한 판매 데이터의 예측 정확도를 향상시킨다.
• 각 데이터 그룹(예: 매장별)에 대해 내재된 시간 추세를 동적으로 학습하고 보정할 수 있는 딥러닝 아키텍처를 개발한다.
• 실제 판매 데이터를 활용한 딥러닝 프레임워크에서 추세 보정의 효과를 평가한다.

제안 방법

• 딥 네ural 네트워크에 시간 추세 항목의 가중치를 예측하는 서브네트워크 블록을 통합한다.
• 시간 추세를 예측된 가중치와 정규화된 시간(예: 시퀀스 기간 동안 [0,1]로 스케일링된 값)의 곱으로 모델링한다.
• 범주형 특징(Store, Customers)의 임베딩과 수치형 입력을 결합하여 메인 네트워크에 입력한다.
• 메인 판매 예측 및 추세 가중치 예측 브랜치 양쪽 모두에서 드롭아웃을 적용한 ReLU 활성화 함수를 갖춘 완전 연결층을 사용하여 정규화를 수행한다.
• 손실 함수에서 예측된 판매량과 시간 추세 항목을 함께 최적화하여 두 구성 요소를 동시에 최적화한다.
• 수치형 특징의 표준화와 범주형 변수의 원핫 인코딩 또는 임베딩 인코딩을 적용하여 PyTorch를 사용해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 판매량과 시간 추세 가중치를 동시에 예측하는 딥러닝 모델이 비 stationary한 판매 시계열의 예측 정확도를 향상시킬 수 있는가?
• RQ2 표준 딥러닝 모델과 비교했을 때 전용 추세 보정 블록의 포함 여부가 RMSE 성능에 어떤 영향을 미치는가?
• RQ3 다양한 추세 방향(예: 상승 또는 하강)을 보이는 매장 간의 비 stationary한 데이터에서 추세 보정 블록은 예측 편향을 얼마나 줄일 수 있는가?
• RQ4 다양한 내재된 시간 추세를 가진 매장 간에서 모델의 일반화 능력은 얼마나 뛰어난가?

주요 결과

• 추세 보정 블록을 갖춘 모델은 전체 RMSE가 943으로, 이를 포함하지 않은 모델의 1076보다 12.3% 상대적 향상이 이루어졌다.
• 강한 시간 추세를 보이는 개별 매장에서는 더욱 뚜렷한 향상이 관찰되었으며, RMSE는 3699에서 1753(52.5% 감소)으로, 2515에서 572(77.3% 감소)로 감소하였다.
• 추세 보정 블록은 비 stationary한 데이터에서 특히 추세 방향이 매장 간으로 다를 경우 예측 편향을 크게 감소시켰다.
• 순열 기반 특징 중요도 분석을 통해 모델이 정확한 추세 및 판매 예측을 위해 시간적 특징과 범주형 특징을 효과적으로 활용하고 있음을 확인했다.
• 훈련 및 검증 손실 곡선(그림 11 및 12)은 추세 보정 블록을 통한 더 나은 일반화와 과적합 감소를 나타냈다.
• 모델은 매장별로 별개의 추세 가중치를 효과적으로 학습하여 이질적인 판매 동역학에 최적화된 추세 보정을 가능하게 하였다.