[논문 리뷰] Approximate Bayesian Inference in Linear State Space Models for Intermittent Demand Forecasting at Scale

Matthias Seeger, Syama Sundar Rangapuram외 5명|arXiv (Cornell University)|2017. 09. 22.

Forecasting Techniques and Applications참고 문헌 15인용 수 12

한 줄 요약

이 논문은 산업 규모의 간헐적이고 폭발적인 수요 예측을 위한 선형 상태공간 모델에 적합한 확장 가능한 근사 베이지안 추론 방법을 제안한다. 뉴턴-라프슨 최적화를 선형 시간으로 단순화한 칼만 스무딩을 활용하여, 비정규 분포 상태공간 모델에서 효율적인 최대우도 추정이 가능해지며, 수억 개의 아이템-일 단위 데이터를 포함한 실제 전자상거래 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

We present a scalable and robust Bayesian inference method for linear state space models. The method is applied to demand forecasting in the context of a large e-commerce platform, paying special attention to intermittent and bursty target statistics. Inference is approximated by the Newton-Raphson algorithm, reduced to linear-time Kalman smoothing, which allows us to operate on several orders of magnitude larger problems than previous related work. In a study on large real-world sales datasets, our method outperforms competing approaches on fast and medium moving items.

연구 동기 및 목표

• 대규모 전자상거래 환경에서 강력하고 자동화되며 확장 가능한 베이지안 추론 방법을 개발하는 것.
• 대규모 제품 카탈로그에서 흔한 간헐적이고 폭발적인 수요 패턴 예측에서 가우시안 가정의 한계를 해결하는 것.
• 공휴일, 프로모션, 가격 변화 등의 특징을 통합하여 단기 및 장기 수요 예측의 정량적 예측을 정확하게 제공하는 것.
• 칼만 스무딩을 통해 복잡도를 입방에서 선형 시간으로 감소시켜 기존 근사 추론 방법의 계산적 한계를 극복하는 것.

제안 방법

• 장기적 추세와 계절성을 위한 일반화선형모형과 시간 연속성 및 불확실성 측정을 위한 지수평균화를 조합한 하이브리드 모델을 사용한다.
• 세 단계로 나누어진 다단계 우도 함수를 도입한다: 영수치가 포함된, 단위 질량이 있는, 그리고 2 이상의 값을 위한 포아송 분포 수치로, 간헐적이고 폭발적인 수요에 특화되어 있다.
• 랩라스 근사 기반의 근사 베이지안 추론을 적용하며, 계산 비용을 줄이기 위해 뉴턴-라프슨 최적화로 재구성한다.
• 각 반복에서 단일 칼만 스무딩 단계로 추론 계산을 줄여 입방 복잡도에서 선형 시간 복잡도로 전환함으로써 대규모 데이터셋에 대한 확장성을 확보한다.
• 폭발적인 수요 조건에서 랩라스 근사를 안정화시키기 위한 새로운 포아송 우도 전이 함수를 제안한다.
• 결측치와 매개변수화된 우도 잠재변수를 지원하며, 칼만 필터를 통한 정방향 및 수반 경로를 통해 효율적인 기울기 계산을 수행한다.

실험 결과

연구 질문

• RQ1 산업 규모에서 비정규 분포, 간헐적, 폭발적인 수요 패턴을 다룰 수 있는 선형 상태공간 모델에 대해 확장 가능한 베이지안 추론 방법을 개발할 수 있는가?
• RQ2 일반화선형모형과 지수평균화를 조합하면 희박한 수요 상황에서 중장기 수요 예측 정확도가 향상되는가?
• RQ3 뉴턴-라프슨 기반 추론과 칼만 스무딩을 통해 근사 추론이 실세계 전자상거래 데이터에서 정확성과 강건성을 유지하면서도 선형 시간 복잡도를 달성할 수 있는가?
• RQ4 제안된 다단계 우도 함수와 강건한 포아송 전이 함수는 폭발적인 수요 환경에서 표준 포아송 또는 영수치 포함 모델보다 성능을 향상시키는가?
• RQ5 고차원적이고 대규모 예측 시스템에서 자동화되고 전문가의 개입 없이 매개변수 학습을 얼마나 잘 달성할 수 있는가?

주요 결과

• 제안된 방법은 실세계 전자상거래 데이터셋에서 수억 개의 아이템-일 단위를 포함한 빠르고 중간 수요가 있는 품목에서 경쟁 방법들을 능가하며, 특히 정량적 예측 정확도에서 뛰어난 성능을 보였다.
• 선형 시간 칼만 스무딩 감소 기법 덕분에 이전 연구 대비 수개의 주기수만큼 더 많은 데이터를 처리할 수 있게 되었으며, 산업 규모 응용에 실현 가능하게 되었다.
• 다단계 우도 함수와 강건한 포아송 전이 함수는 성능 향상에 필수적이며, 이와 같은 혁신 없이선 폭발적인 데이터에서 성능이 떨어진다.
• 칼만 스무딩 기반의 뉴턴-라프슨 기반 추론은 실세계 사용 사례에서 L-BFGS 기반 대안보다 더 강건하며, L-BFGS는 수렴하지 못하는 경우가 많다.
• 이전 모델이 포착하지 못했던 시간에 따라 서서히 변화하는 시계열 패턴(예: 요일 효과의 변화)을 성공적으로 모델링할 수 있었다.
• 공휴일, 프로모션, 가격 변화 등의 동적 특징을 통합하여 수개월 전까지 정확한 예측을 가능하게 하였다.