[논문 리뷰] Assessing the Performance of Deep Learning Algorithms for Newsvendor Problem

Yanfei Zhang, Junbin Gao|arXiv (Cornell University)|2017. 06. 09.

Forecasting Techniques and Applications참고 문헌 10인용 수 4

한 줄 요약

이 논문은 원래의 비미분 가능 Newsvendor 손실 함수를 학습 목적으로 사용하여 다중 특성 Newsvendor 문제를 위한 딥러닝 접근법을 제안하며, 일반적으로 사용되는 제곱 손실 함수보다 뛰어난 성능을 보여준다. 이 방법은 과적합을 방지하면서도 강력한 내부 적합도를 유지함으로써 더 나은 일반화 능력과 이상치에 대한 강건성을 달성한다.

ABSTRACT

In retailer management, the Newsvendor problem has widely attracted attention as one of basic inventory models. In the traditional approach to solving this problem, it relies on the probability distribution of the demand. In theory, if the probability distribution is known, the problem can be considered as fully solved. However, in any real world scenario, it is almost impossible to even approximate or estimate a better probability distribution for the demand. In recent years, researchers start adopting machine learning approach to learn a demand prediction model by using other feature information. In this paper, we propose a supervised learning that optimizes the demand quantities for products based on feature information. We demonstrate that the original Newsvendor loss function as the training objective outperforms the recently suggested quadratic loss function. The new algorithm has been assessed on both the synthetic data and real-world data, demonstrating better performance.

연구 동기 및 목표

• 수요에 대한 강력한 분포 가정에 의존하는 전통적 Newsvendor 모델의 한계를 해결하기 위해.
• 알려진 수요 분포를 가정하지 않고 특성 정보를 활용하여 주문 수량을 직접 최적화하는 딥러닝 기반 접근법을 개발하기 위해.
• 이 문제에 대해 딥러닝 학습에서 원래의 Newsvendor 손실 함수가 제곱 손실 함수를 능가하는지 평가하기 위해.
• 부족 비용과 보관 비용이 모델 학습 및 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 딥 네ural 네트워크에 원래의 Newsvendor 손실 함수 $ C(y) = \mathbb{E}_d[c_p(d-y)_+ + c_h(y-d)_+] $ 를 통합하여 엔드 투 엔드 학습을 수행한다.
• 기존 손실 함수의 비미분 가능성에 대응하기 위해 수정된 기울기 계산 방식을 적용하여 백프로파게이션 알고리즘을 적응시킨다.
• 다양한 비용 비율 $ c_p/c_h $ 를 가진 합성 데이터와 실세계 소매 수요 데이터 세트를 사용하여 모델을 학습하고 검증한다.
• 입력 특성과 최적 주문 수량 사이의 복잡한 비선형 관계를 학습하기 위해 다중 은닉층을 가진 피드포워드 신경망 아키텍처를 사용한다.
• Oroojlooyjadid 등 (2016) 이 제안한 제곱 손실 함수와의 성능을 비교하기 위해 원래의 Newsvendor 손실 함수를 사용한다.
• 교차 검증을 적용하고 학습 오차 및 테스트 오차를 평가하여 내부 적합도와 외부 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 비미분 가능성을 지닌 원래의 Newsvendor 손실 함수가 딥러닝 프레임워크에 효과적으로 통합될 수 있는가?
• RQ2 원래의 Newsvendor 손실 함수를 사용하여 학습할 경우, 일반화 및 강건성 측면에서 제곱 손실 함수를 사용한 경우보다 성능이 향상되는가?
• RQ3 부족 비용 $ c_p $ 와 보관 비용 $ c_h $ 의 상대적 값이 Newsvendor 설정에서 딥러닝 모델의 학습 동역학과 예측 정확도에 어떤 영향을 미치는가?
• RQ4 이상치가 있는 수요 데이터 상황에서, 제곱 손실 함수로 학습된 모델과 비교해 볼 때 모델의 성능은 어떠한가?

주요 결과

• 원래의 Newsvendor 손실 함수는 특히 테스트 데이터에서 일반화 능력 측면에서 제곱 손실 함수를 일관되게 능가하며, 이는 더 나은 외부 샘플 성능을 의미한다.
• 원래의 손실 함수로 학습된 모델는 이상치에 대해 더 뛰어난 강건성을 보이며, 극단적인 수요 값에 과적합을 방지하지만, 제곱 손실 함수로 학습된 모델는 이러한 이상치를 맞추려고 시도하여 일반화 능력이 떨어진다.
• 큰 이상치가 존재할 경우, 원래의 손실 함수의 초기 단계에서 학습 오차는 제곱 손실 함수보다 높게 나타나, 노이즈가 많은 데이터에 과적합을 피한다는 점을 확인한다.
• 원래의 손실 함수는 강력한 내부 적합도를 유지하면서도 더 나은 외부 성능을 달성하여 편향과 분산 사이의 유리한 트레이드오프를 보여준다.
• 소규모 범위의 수요 데이터에서는 원래의 손실 함수가 과적합을 방지하는 데서 유의미한 이점이 덜 두드러지므로, 맥락에 따라 달라지는 이점임을 시사한다.
• 결과적으로 원래의 손실 함수는 수요 분포가 알려져 있거나 정규 분포가 아닐 경우, 딥러닝 기반 Newsvendor 모델에 더 적합하다는 점을 확인한다.