[논문 리뷰] Multivariate Arrival Times with Recurrent Neural Networks for Personalized Demand Forecasting

Tianle Chen, Brian Keng외 1명|arXiv (Cornell University)|2018. 12. 29.

Forecasting Techniques and Applications참고 문헌 21인용 수 3

한 줄 요약

이 논문은 개인화된 수요 예측을 위해 다변량 간격 시간을 동시 예측할 수 있는 새로운 순환 신경망 모델인 MAT-RNN을 제안한다. 이 모델은 간격 구매 시간의 분포적 파라미터를 음의 로그우도 손실을 통해 모델링함으로써 캐시된 데이터와 부분적으로 관측된 데이터를 효과적으로 처리할 수 있다. 이 방법은 다양한 제품 카테고리에서 ROC-AUC 측정치에서 최신 기술 수준의 성능을 달성하며, 개별 SKU에서 최대 +0.1098의 향상률을 기록한다.

ABSTRACT

Access to a large variety of data across a massive population has made it possible to predict customer purchase patterns and responses to marketing campaigns. In particular, accurate demand forecasts for popular products with frequent repeat purchases are essential since these products are one of the main drivers of profits. However, buyer purchase patterns are extremely diverse and sparse on a per-product level due to population heterogeneity as well as dependence in purchase patterns across product categories. Traditional methods in survival analysis have proven effective in dealing with censored data by assuming parametric distributions on inter-arrival times. Distributional parameters are then fitted, typically in a regression framework. On the other hand, neural-network based models take a non-parametric approach to learn relations from a larger functional class. However, the lack of distributional assumptions make it difficult to model partially observed data. In this paper, we model directly the inter-arrival times as well as the partially observed information at each time step in a survival-based approach using Recurrent Neural Networks (RNN) to model purchase times jointly over several products. Instead of predicting a point estimate for inter-arrival times, the RNN outputs parameters that define a distributional estimate. The loss function is the negative log-likelihood of these parameters given partially observed data. This approach allows one to leverage both fully observed data as well as partial information. By externalizing the censoring problem through a log-likelihood loss function, we show that substantial improvements over state-of-the-art machine learning methods can be achieved. We present experimental results based on two open datasets as well as a study on a real dataset from a large retailer.

연구 동기 및 목표

• 개인화된 수요 예측에서 제품 간에 매우 이질적이고 희박한 고객 구매 패턴에 도전하기 위해.
• 기존의 파라미터 가정에 의존하고 선형 공변수를 사용하는 전통적인 생존 모델의 한계를 극복하기 위해.
• 딥 러닝의 유연성과 생존 분석의 통계적 엄밀함을 결합하여 부분적으로 관측된 순차적 구매 데이터를 처리하기 위해.
• 완전히 관측된 데이터와 캐시된 데이터를 모두 활용하면서도 여러 제품의 간격 시간을 동시에 모델링할 수 있도록 하기 위해.
• RNN을 사용하여 간격 시간의 분포적 추정치를 모델링함으로써 향후 구매 예측 정확도를 향상시키기 위해.

제안 방법

• 모델은 각 시간 단계에서 간격 시간의 웨이불 분포 파라미터를 예측하기 위해 시퀀스-투-시퀀스 RNN 아키텍처를 사용한다.
• 각 시간 단계에서 모델은 이전 구매 시퀀스에 조건화된 다음 구매까지의 시간까지의 분포 파라미터(척도 및 형상)를 출력한다.
• 손실 함수는 관측된 또는 캐시된 간격 시간의 음의 로그우도이며, 이는 부분적으로 관측된 데이터에 대해 엔드 투 엔드 학습을 가능하게 한다.
• 모델은 불완전한 간격 시간에 대해 조건부 생존 확률과 밀도를 계산함으로써 캐시된 데이터를 명시적으로 처리한다.
• 이 접근법은 캐시를 외부화하여 우도 최대화를 통해 구현함으로써, 기저의 위험 함수에 대한 파라미터 형식을 가정하지 않고도 복잡한 시간적 의존성을 학습할 수 있도록 한다.
• 모델은 완전한 관측치와 불완전한 관측치를 모두 통합한 우도 기반 목표 함수를 사용하여 훈련되며, 이는 희박한 데이터에서의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 부분적으로 관측된 데이터를 효과적으로 모델링하면서도 여러 제품의 간격 시간을 동시에 예측할 수 있는가?
• RQ2 RNN을 사용하여 간격 시간의 분포적 파라미터를 모델링하는 것이 점추정 회귀나 표준 RNN보다 생존 예측에서 더 높은 성능을 내는가?
• RQ3 다양한 제품의 간격 시간을 동시에 모델링하는 것이 개별 제품 모델링 대비 예측 성능와 파rameter 효율성 측면에서 어떻게 비교되는가?
• RQ4 표준 제곱오차 손실 대비 우도 기반 훈련 목표 함수가 희박하고 실제 소매 데이터에서 성능 향상에 얼마나 기여하는가?
• RQ5 RNN과 생존 분석 원리를 통합함으로써 다양한 제품 카테고리에서 다음 구매 예측의 ROC-AUC에 상당한 향상이 이루어지는가?

주요 결과

• MAT-RNN는 ROC-AUC 측정치에서 최신 기술 수준의 기계학습 방법을 능가하며, 개별 제품 SKU에서 +0.0029에서 +0.1098까지의 향상률을 기록한다.
• 실제 소매업체 데이터셋에서 5개 제품 카테고리 중 4개에서 뛰어난 성능을 보이며, 영향력 있는 SKU에서 AUC 향상이 두드러진다.
• 여러 제품의 간격 시간을 동시에 모델링하는 방식은 파라미터 수가 적을지라도 단일 제품 모델보다 일관되게 성능 향상을 이룬다.
• 기본 및 시뮬레이션 데이터셋에서 전통적인 생존 모델과 제곱오차 손실로 훈련된 표준 RNN보다 유사하거나 더 뛰어난 성능을 보였다.
• 음의 로그우도 손실을 사용함으로써 완전한 관측치와 캐시된 관측치 모두에서 효과적인 학습이 가능해져 희박한 데이터에서 강건한 성능을 발휘한다.
• 모델은 타겟 광고에 대한 강력한 확장 가능성 잠재력을 보이며, 메모리 및 ETL 제약으로 인해 재고 전반 확장은 향후 과제로 남아 있다.