[논문 리뷰] ARMDN: Associative and Recurrent Mixture Density Networks for eRetail Demand Forecasting

S. Mukherjee, Devashish Shankar외 5명|arXiv (Cornell University)|2018. 03. 10.

Forecasting Techniques and Applications참고 문헌 1인용 수 20

한 줄 요약

이 논문은 대규모 전자상거래(eRetail) 수요 예측을 위해 연관 특징, 순환 시간적 모델링, 혼합 밀도 네트워크를 결합한 딥러닝 모델인 AR-MDN을 제안한다. 수요를 가우시안 성분의 혼합으로 모델링하고, 임bedded된 연관 특징을 LSTM 기반의 시계열 학습과 융합함으로써, 특히 변동성이 높은 이벤트 주간에 더 낮은 예측 오차를 달성한다. 이는 대규모 Flipkart 데이터셋에서 전통적인 부스팅 트리와 표준 RNN보다 우수한 성능을 보였다.

ABSTRACT

Accurate demand forecasts can help on-line retail organizations better plan their supply-chain processes. The challenge, however, is the large number of associative factors that result in large, non-stationary shifts in demand, which traditional time series and regression approaches fail to model. In this paper, we propose a Neural Network architecture called AR-MDN, that simultaneously models associative factors, time-series trends and the variance in the demand. We first identify several causal features and use a combination of feature embeddings, MLP and LSTM to represent them. We then model the output density as a learned mixture of Gaussian distributions. The AR-MDN can be trained end-to-end without the need for additional supervision. We experiment on a dataset of an year's worth of data over tens-of-thousands of products from Flipkart. The proposed architecture yields a significant improvement in forecasting accuracy when compared with existing alternatives.

연구 동기 및 목표

• 할인, 이벤트, 프 motion 등 연관 요인으로 인해 발생하는 매우 변동성이 크고 비정상적인 전자상거래 수요 예측 문제를 해결하기 위해.
• 시간적 추세와 연관 주요 요인을 동시에 모델링할 수 있는 확장성 있고 엔드 투 엔드로 훈련 가능한 딥러닝 아키텍처를 개발하기 위해.
• 특히 고영향력 이벤트 주간에 전통적인 방법(예: Boosted Cubist 및 표준 RNN)보다 정확도를 향상시키기 위해.
• 재고 보충을 위한 SKU × 유통센터 × 주간 수준에서 정확하고 확률적 수요 예측을 가능하게 하기 위해.
• 전문가가 설계한 특징과 하이브리드 신경망 아키텍처가 다중 모odal 전자상거래 예측에서 효과적인지 검증하기 위해.

제안 방법

• 범주형 연관 특징(예: 할인, 이벤트, 제품 카테고리)에 대한 임베딩 표현을 사용하고, 이를 다층퍼셉트론(MLP)을 통해 처리한다.
• 시간 패턴은 역사적 수요 시계열을 처리하는 스태킹된 장기 단기 기억(LSTM) 네트워크를 통해 캡처한다.
• 예측 분포 전체를 가우시안 성분의 혼합으로 모델링하기 위해 출력층에 혼합 밀도 네트워크(MDN)를 사용하여 불확실성 인식 예측을 가능하게 한다.
• 연관 특징과 순환 특징은 MDN 출력 생성 이전에 게이팅된 단계별 피드포워드 메커니즘을 통해 융합된다.
• 예측 밀도 정확도를 최적화하기 위해 음의 로그우도 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련한다.
• 희소성과 다양성을 균형 잡는 실용적인 훈련 전략을 통해 희소 수요 패턴에서의 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 연관 특징과 순환 시간적 모델링을 융합한 하이브리드 딥러닝 모델이 전자상거래 수요 예측에서 전통적인 회귀 모델 및 시계열 모델보다 우월한가?
• RQ2 혼합 밀도 네트워크(MDN)가 변동성이 큰 소매 환경에서 수요의 불확실성과 다중모달 행동을 얼마나 잘 포착하는가?
• RQ3 전문가가 설계한 특징이 특히 장기 예측에서 예측 성능 향상에 얼마나 기여하는가?
• RQ4 연관 요소의 포함이 고영향력 이벤트 주간의 예측 정확도에 실제로 유의미한 개선을 가져오는가?
• RQ5 MDN나 연관 특징 브랜치가 없는 아키텍처의 아키텍처를 제외한 아키텍처와 비교할 때 AR-MDN 아키텍처는 안정성과 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• AR-MDN는 이벤트 주간 동안 평균 wMAPE가 34.59%를 기록하여 Boosted Cubist 모델의 wMAPE 40.74%를 뛰어넘었다.
• 연관 특징의 포함으로 오차가 크게 감소했으며, 특히 순환 특징만으로는 신뢰도가 떨어지는 장기 예측에서 두드러진 효과를 보였다.
• 혼합 밀도 네트워크(MDN) 구성 요소는 노이즈에 대한 내성을 향상시키고, 잠재 변수와 예측 불가능한 급증이 발생하는 이벤트 주간에서 성능 향상을 이끌어냈다.
• AR-MDN는 MDN나 연관 브랜치가 없는 모든 아키텍처의 아키텍처보다 뛰어난 성능을 보였으며, 전체 하이브리드 아키텍처의 필요성을 입증했다.
• 순환 특징과 연관 특징을 모두 포함하고, MDN 출력을 사용한 모델가 가장 높은 성능을 기록했으며, 시간적 특징과 연관 특징의 융합 가치를 확인했다.
• 가격 추세, 할인 지연, 이벤트 접근도 지표 등 수작업으로 설계한 특징은 특히 장기 예측에서 예측 오차를 크게 감소시켰다.