[논문 리뷰] Intermittent Demand Forecasting with Deep Renewal Processes

Ali Caner Türkmen, Yuyang Wang외 1명|arXiv (Cornell University)|2019. 11. 23.

Forecasting Techniques and Applications참고 문헌 81인용 수 9

한 줄 요약

이 논문은 간헐적 수요 예측을 위해 재발동 과정을 모델링하고, 재발동 과정의 이산 및 연속 시간 버전을 기반으로, 순환 신경망을 사용하여 간격 시간과 수요 크기를 모델링하는 딥 리뉴얼 프로세스(DRP)를 제안한다. 이 방법은 전통적인 크로스턴 기반 모델보다 확률적 예측에서 뚜렷한 성능 향상을 보이며, 기준 데이터셋에서 분위수 손실을 최대 55%까지 감소시킨다.

ABSTRACT

Intermittent demand, where demand occurrences appear sporadically in time, is a common and challenging problem in forecasting. In this paper, we first make the connections between renewal processes, and a collection of current models used for intermittent demand forecasting. We then develop a set of models that benefit from recurrent neural networks to parameterize conditional interdemand time and size distributions, building on the latest paradigm in "deep" temporal point processes. We present favorable empirical findings on discrete and continuous time intermittent demand data, validating the practical value of our approach.

연구 동기 및 목표

• 전자상거래, 제조, 물류 분야에서 흔한 희박하고 비정기적인 수요 발생 특징을 가진 간헐적 수요 예측의 과제를 해결한다.
• 고정된 가정과 낮은 불확실성 추정 능력을 가진 히우리스틱이고 局소적인 모델에 의존하는 전통적 방법, 예를 들어 크로스턴의 방법의 한계를 극복한다.
• 다양한 시계열에 걸쳐 간격 시간과 수요 크기의 탄력적 조건부 분포를 학습할 수 있도록 순환 신경망을 활용한 글로벌, 데이터 기반 접근법을 개발한다.
• 응용 통계에서의 재발동 과정과 기계 학습에서의 현대적 딥 시계열 점과정 사이의 격차를 메우며, 불확실성 정량화 기능을 갖춘 확률적 예측을 가능하게 한다.
• 실제 데이터셋을 대상으로 방법을 검증하여 정적 및 수정된 크로스턴 모델 대비 더 높은 정확도와 강건성을 입증한다.

제안 방법

• 과거 사건의 잠재 상태에 의해 조건부로 의존하는 간격 시간 $ Q_i $ 와 수요 크기 $ M_i $ 를 갖는 마킹된 자기조절 재발동 과정으로 간헐적 수요를 모델링한다.
• LSTM 기반 순환 네트워크를 사용해 $ Q_i $ 와 $ M_i $ 의 조건부 분포를 매개변수화하며, 고정된 비모수적 가정 대신 학습된 동적 분포로 대체한다.
• 이산 시간 데이터의 경우, $ Q_i $ 는 음이항분포로, $ M_i $ 는 음이항분포로 모델링하며, 이들의 매개변수는 이전 이벤트 이력으로부터 LSTM이 예측한다.
• 연속 시간 데이터의 경우, 도착 간격 시간 $ \tilde{Q}_j $ 는 감마분포로, 수요 크기 $ \tilde{M}_j $ 는 포아송분포로 모델링하며, 매개변수는 이전 이벤트로부터 LSTM이 생성한다.
• 재발동 과정의 구조를 활용해 이산 시간 기반 추론을 통해 효율적이고 선형 시간 복잡도를 갖는 훈련을 수행한다.
• 모든 시계열 간에 LSTM 매개변수를 공유하는 글로벌 RNN 아키텍처를 구현하여 희박한 수요에서 긴 尾部 수요 품목으로의 지식 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 재발동 과정 기반 딥 러닝 모델이 기존의 크로스턴 기반 방법에 비해 간헐적 수요의 확률적 예측 정확도를 향상시킬 수 있는가?
• RQ2 순환 신경망이 희박하고 i.i.d. 가정을 만족하지 못하는 수요 데이터에서 조건부 간격 시간 및 수요 크기 분포를 어떻게 향상시키는가?
• RQ3 정확한 타임스탬프가 제공될 경우 연속 시간 모델링과 이산 시간 모델링 간의 성능 차이는 무엇이며, 어떤 영향을 미치는가?
• RQ4 글로벌 공유 RNN 아키텍처는 다양한 시계열에서 희박한 수요 패턴을 효과적으로 학습하여 느리게 움직이는 품목의 일반화 능력을 향상시킬 수 있는가?
• RQ5 제안된 딥 리뉴얼 프로세스 모델은 기존 기준 모델 대비 불확실성 정량화 및 손실 최소화(예: 분위수 손실) 측면에서 어떻게 비교되는가?

주요 결과

• 이산 시간 딥 리뉴얼 프로세스(DRP) 모델은 Parts 데이터셋에서 정적 크로스턴 모델 대비 P50QL(중위수 손실)을 22.2% 감소시켰다(2.835 vs. 3.643).
• UCI 소매 데이터셋에서 이산 시간 DRP는 정적 크로스턴 모델 대비 P90QL(90번째 백분위수 손실)을 35.7% 감소시켰다(1.601 vs. 2.495).
• 연속 시간 DRP 모델은 UCI 데이터셋에서 P90QL을 4.295로 기록하여 정적 크로스턴 모델(7.979)과 수정된 크로스턴 모델(8.371)을 모두 초월했다.
• UCI 데이터셋에서 연속 시간 DRP는 이산 시간 DRP 대비 P90QL에서 4.4% 향상되었지만, 데이터가 제한되어 있어 유의미한 차이인지 확실하지 않다.
• 글로벌 RNN 아키텍처는 다양한 시계열 간 패턴을 활용해 희박한 빈도의 품목에 대한 예측을 향상시키는 효과적인 지식 전이를 가능하게 하였다.
• 제안된 방법은 선형 시간 내에서 가능도 기반 추론을 가능하게 하여, 대규모 카탈로그를 갖는 실세계 재고 예측에 대해 확장 가능하고 실용적인 접근이 되었다.