[논문 리뷰] On the Hardness of Inventory Management with Censored Demand Data

Gábor Lugosi, Mihalis G. Markakis외 1명|arXiv (Cornell University)|2017. 10. 16.

Advanced Bandit Algorithms Research참고 문헌 57인용 수 7

한 줄 요약

이 논문은 관측된 수요(진짜 수요가 아님)만 제공되는 캐서닝된 수요 하에서 반복적인 뉴스베이더 문제를 위한 비확률적, 최소 위험 기반 프레임워크를 제안한다. 지수 가중 예측기와 비편향된 비용 추정을 사용하여, 시간 주기, 재고 결정, 수요 지원 크기 측면에서 최적의 위험 스케일링(로그함수 요소를 제외한)을 달성한다. 이는 캐서닝과 정보 부족이 위험 기준 하에서 성능에 미치는 영향이 미미하다는 것을 보여준다.

ABSTRACT

We consider a repeated newsvendor problem where the inventory manager has no prior information about the demand, and can access only censored/sales data. In analogy to multi-armed bandit problems, the manager needs to simultaneously "explore" and "exploit" with her inventory decisions, in order to minimize the cumulative cost. We make no probabilistic assumptions---importantly, independence or time stationarity---regarding the mechanism that creates the demand sequence. Our goal is to shed light on the hardness of the problem, and to develop policies that perform well with respect to the regret criterion, that is, the difference between the cumulative cost of a policy and that of the best fixed action/static inventory decision in hindsight, uniformly over all feasible demand sequences. We show that a simple randomized policy, termed the Exponentially Weighted Forecaster, combined with a carefully designed cost estimator, achieves optimal scaling of the expected regret (up to logarithmic factors) with respect to all three key primitives: the number of time periods, the number of inventory decisions available, and the demand support. Through this result, we derive an important insight: the benefit from "information stalking" as well as the cost of censoring are both negligible in this dynamic learning problem, at least with respect to the regret criterion. Furthermore, we modify the proposed policy in order to perform well in terms of the tracking regret, that is, using as benchmark the best sequence of inventory decisions that switches a limited number of times. Numerical experiments suggest that the proposed approach outperforms existing ones (that are tailored to, or facilitated by, time stationarity) on nonstationary demand models. Finally, we extend the proposed approach and its analysis to a "combinatorial" version of the repeated newsvendor problem.

연구 동기 및 목표

• 관측된 수요(진짜 수요가 아님)만 제공되는 캐서닝된 수요 데이터를 가진 재고 관리 문제에 도전한다.
• 확률적 가정 없이 비정상적, 적대적인 수요 시퀀스에서도 잘 작동하는 정책을 개발한다.
• 후행적으로 최선의 고정 재고 결정과 비교하여 위험 기준으로 성능을 평가한다.
• 단일 창고 다중 소매점 시스템과 같은 조합 최적화 설정으로 프레임워크를 확장한다.
• 제한된 전환 횟수를 가진 최선의 행동 시퀀스를 기준으로 하는 트래킹 위험 기준 하에서의 성능을 분석한다.

제안 방법

• 분포 가정 없이 임의의 수요 시퀀스로 모델링하는 비확률적(적대적) 프레임워크를 채택한다.
• 탐색과 이용을 통합하는 동적 재고 결정을 위한 지수 가중 예측기(Exponentially Weighted Forecaster, EWF)를 도입한다.
• 캐서닝된 판매 데이터에서 비용 차이를 재구성하기 위해 비편향된 비용 추정기를 사용하여 정확한 위험 분석을 가능하게 한다.
• 완전한 피드백이 없는 상황에서 탐색과 이용을 균형 있게 조절하기 위해 확률적 정책과 지수 가중을 적용한다.
• 트래킹 위험 보장을 확보하기 위해 EWF를 Follow-the-Perturbed-Linear-Function (FPL-IX) 변형으로 확장한다.
• 다중 위치 설정으로 추정기와 정책을 일반화하여 조합 최적화 뉴스베이더 문제에 프레임워크를 적응시킨다.

실험 결과

연구 질문

• RQ1 관측된 수요(판매 수량)만 제공되는 상황에서 재고 관리의 본질적 난이도는 무엇인가?
• RQ2 확률적 가정 없이도 적대적, 비정상적 수요 하에서 최적의 위험 스케일링을 달성할 수 있는 정책이 존재하는가?
• RQ3 캐서닝 비용과 정보 확보의 필요성은 위험 기준 하에서 성능에 어떤 영향을 미치는가?
• RQ4 유사한 위험 보장을 확보할 수 있도록 이 프레임워크를 조합 최적화 재고 시스템(예: 다중 소매점)으로 확장할 수 있는가?
• RQ5 제한된 전환 횟수를 가진 정책 시퀀스를 기준으로 하는 트래킹 위험 기준 하에서 달성 가능한 성능 한계는 무엇인가?

주요 결과

• 비편향된 비용 추정을 사용하는 지수 가중 예측기는 시간, 조치 수, 수요 지원 크기 측면에서 기대 위험 스케일링이 최적(로그함수 요소를 제외한)임을 입증한다.
• 정보 탐색의 이점과 캐서닝 비용이 위험 기준 하에서 미미함을 입증하여, 제한된 피드백에 대한 강건성을 보여준다.
• 수치 실험에서 비정상적 수요 모델에서 기존 정상적 수요를 가정한 방법보다 제안된 정책이 뛰어난 성능을 보였다.
• FPL-IX 변형은 트래킹 위험에 비현실적이지 않은 상한선을 제공하여, 제한된 횟수 내에서 행동을 전환하는 기준과의 성능을 지원한다.
• 프레임워크는 조합 최적화 뉴스베이더 문제로 확장되어 다중 소매점 환경에서 근사 최적의 위험 성능을 달성한다.
• 결과는 정상성, 독립성, 분포 가정 없이도 모든 가능한 수요 시퀀스에 대해 균일하게 성립한다.