[논문 리뷰] Inventory Balancing with Online Learning

Wang Chi Cheung, Will Ma외 2명|arXiv (Cornell University)|2018. 10. 11.

Advanced Bandit Algorithms Research참고 문헌 39인용 수 7

한 줄 요약

이 논문은 모델 불확실성과 적대적인 고객 도착 상황에서 온라인 자원 배정 문제를 해결하기 위해 온라인 학습을 통한 재고 균형 조절(IBOL) 알고리즘을 제안한다. 향후 자원 예약을 위한 재고 균형 조절과 스 tochastic 소비 추정을 위한 온라인 학습(새로운 레이지UCB 변종을 통해)을 통합함으로써, 이 알고리즘은 역사를 기반으로 하거나 수요 예측이 필요 없이도 near-optimal 경쟁 비율을 달성한다.

ABSTRACT

We study a general problem of allocating limited resources to heterogeneous customers over time under model uncertainty. Each type of customer can be serviced using different actions, each of which stochastically consumes some combination of resources, and returns different rewards for the resources consumed. We consider a general model where the resource consumption distribution associated with each (customer type, action)-combination is not known, but is consistent and can be learned over time. In addition, the sequence of customer types to arrive over time is arbitrary and completely unknown. We overcome both the challenges of model uncertainty and customer heterogeneity by judiciously synthesizing two algorithmic frameworks from the literature: inventory balancing, which "reserves" a portion of each resource for high-reward customer types which could later arrive, and online learning, which shows how to "explore" the resource consumption distributions of each customer type under different actions. We define an auxiliary problem, which allows for existing competitive ratio and regret bounds to be seamlessly integrated. Furthermore, we show that the performance guarantee generated by our framework is tight, that is, we provide an information-theoretic lower bound which shows that both the loss from competitive ratio and the loss for regret are relevant in the combined problem. Finally, we demonstrate the efficacy of our algorithms on a publicly available hotel data set. Our framework is highly practical in that it requires no historical data (no fitted customer choice models, nor forecasting of customer arrival patterns) and can be used to initialize allocation strategies in fast-changing environments.

연구 동기 및 목표

• 미래의 고객 유형과 자원 소비 분포가 알려져 있지 않고 적대적으로 선택되는 모델 불확실성 하에서 온라인 자원 배정 문제를 해결한다.
• 모르는 미래 수요 패턴과 불확실한 고객 행동(예: 클릭률, 구매 확률 등)이라는 이중적 과제를 해결한다.
• 역사 데이터, 고객 선택 모델, 도착 패턴 예측에 의존하지 않는 실용적인 데이터 없는 프레임워크를 설계한다.
• 경쟁 비율 분석(재고 균형 조절)과 손실 최소화 분석(온라인 학습)을 통합한 통합 알고리즘 프레임워크를 제안한다.
• 이론적 경계와 합성 및 실세계 호텔 데이터에 대한 실증적 검증을 통해 프레임워크의 강건성과 최적성의 가능성을 입증한다.

제안 방법

• 모든 고객 유형-행동 쌍이 알려지지 않은 분포를 가진 스 tochastic 자원 소비를 유도하는 일반적인 온라인 자원 배정 모델을 수립한다.
• 학습과 균형 조절 요소를 분리하는 보조 문제를 도입함으로써, 경쟁 비율과 손실 최소화 경계를 원활하게 통합할 수 있도록 한다.
• 자원이 제한된 환경에 적합하도록 탐색을 줄이고 이용을 우선시하는 UCB의 변종인 레이지UCB 오라클을 설계한다.
• 높은 보상의 미래 고객 유형을 위한 자원 예약을 위한 재고 균형 조절과 실시간으로 알려지지 않은 소비 분포를 추정하기 위한 온라인 학습을 통합한다.
• 경쟁 비율 분석을 통해 자원 예약을 지시하고, 손실 분석을 통해 탐색을 지시함으로써 불확실성 하에서도 성능 보장을 확보한다.
• 정보 이론적 반례를 구성하여, 이 프레임워크가 최악의 경우에 가장 좋은 성능 보장을 달성할 수 있음을 증명한다.

실험 결과

연구 질문

• RQ1 미래 수요 패턴과 고객 행동 분포가 완전히 알려져 있지 않은 상황에서 온라인 자원 배정 알고리즘이 강력한 성능 보장을 달성할 수 있는가?
• RQ2 모델 불확실성과 적대적인 도착을 다루기 위해 재고 균형 조절과 온라인 학습을 효과적으로 통합할 수 있는가?
• RQ3 이러한 하이브리드 알고리즘의 이론적 성능 한계는 무엇이며, 이를 최적임을 증명할 수 있는가?
• RQ4 레이지UCB를 통해 탐색을 줄이면 자원이 제한된 환경에서 성능에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 역사 데이터나 사전 학습된 모델이 없이도 실세계 문제에 적용될 수 있는가?

주요 결과

• IBOL 알고리즘은 일반적인 경우에서 1/2의 경쟁 비율을 달성하며, 자원 용량이 커질수록 (1−1/e)에 수렴하여 알려진 이론적 한계와 일치한다.
• 스 tochastic 보상이 있는 온라인 매칭 합성 인스턴스에서 IBOL은 베이스라인 방법들을 능가하며, ε=0.01이고 v₀=40일 때 최적 성능의 최대 98.4%를 달성한다.
• 실제 호텔 데이터셋에서 IBOL은 다양한 재고 규모에서도 강력한 성능 유지를 보이며, v₀=100이고 재고 규모가 0.5일 때 OPT의 93.3%를 기록한다.
• 레이지UCB 변종은 표준 UCB 대비 탐색을 크게 줄여 이용을 극대화하고, 저용량 환경에서 성능 향상에 기여한다.
• 고용량 환경에서는 Conserv-TS가 Gdy-TS와 IB-TS를 일관되게 능가하지만, IBOL은 모든 규모에서 강력한 성능을 유지한다.
• 정보 이론적 반례를 활용한 이론적 분석을 통해, 프레임워크의 성능 보장이 near-optimal이며, 손실과 경쟁 비율 사이의 최선의 트레이드오���을 달성함을 확인한다.