[論文レビュー] Inventory Balancing with Online Learning

Wang Chi Cheung, Will Ma+2 more|arXiv (Cornell University)|Oct 11, 2018

Advanced Bandit Algorithms Research参考文献 39被引用数 7

ひとこと要約

この論文は、モデルの不確実性と敵対的な顧客の到着を伴うオンラインリソース割り当てを解決するため、インベントリ・バランスのオンライン学習（IBOL）アルゴリズムを提案する。将来のリソース予約のためのインベントリ・バランスと、未知の消費分布をリアルタイムで推定するためのオンライン学習（新規のLazyUCBの変種を用いて）を統合することで、履歴データや需要予測を必要とせず、近似的に最適な競合比を達成する。

ABSTRACT

We study a general problem of allocating limited resources to heterogeneous customers over time under model uncertainty. Each type of customer can be serviced using different actions, each of which stochastically consumes some combination of resources, and returns different rewards for the resources consumed. We consider a general model where the resource consumption distribution associated with each (customer type, action)-combination is not known, but is consistent and can be learned over time. In addition, the sequence of customer types to arrive over time is arbitrary and completely unknown. We overcome both the challenges of model uncertainty and customer heterogeneity by judiciously synthesizing two algorithmic frameworks from the literature: inventory balancing, which "reserves" a portion of each resource for high-reward customer types which could later arrive, and online learning, which shows how to "explore" the resource consumption distributions of each customer type under different actions. We define an auxiliary problem, which allows for existing competitive ratio and regret bounds to be seamlessly integrated. Furthermore, we show that the performance guarantee generated by our framework is tight, that is, we provide an information-theoretic lower bound which shows that both the loss from competitive ratio and the loss for regret are relevant in the combined problem. Finally, we demonstrate the efficacy of our algorithms on a publicly available hotel data set. Our framework is highly practical in that it requires no historical data (no fitted customer choice models, nor forecasting of customer arrival patterns) and can be used to initialize allocation strategies in fast-changing environments.

研究の動機と目的

• 将来の顧客タイプとリソース消費分布が未知であり、敵対的に選ばれるモデルの不確実性下でのオンラインリソース割り当てを扱う。
• 未知の将来の需要パターンと、クリック率や購入確率などの不確かな顧客行動の二重の課題を克服する。
• 履歴データ、顧客選択モデル、到着パターンの予測に依存しない実用的でデータフリーなフレームワークを設計する。
• 競合比分析（インベントリ・バランス）とリグレット最小化（オンライン学習）を統合した一貫したアルゴリズムフレームワークを構築する。
• 理論的境界と合成データおよび実世界のホテルデータにおける実証的検証を通じて、フレームワークの頑健性と最適性を示す。

提案手法

• 各顧客タイプ・アクションペアが未知の分布を持つ確率的リソース消費を引き起こす一般化されたオンラインリソース割り当てモデルを定式化する。
• 学習とバランスのコンポonentを分離する補助問題を導入し、競合比とリグレット境界のシームレスな統合を可能にする。
• 探索を削減し、資源が限られた環境に適した、探索を優先する標準のUCBの変種であるLazyUCBオракルを設計する。
• 高報酬の将来のタイプのためのリソース予約を行うインベントリ・バランスと、リアルタイムでの未知の消費分布推定のためのオンライン学習を統合する。
• 競合比分析でリソース予約を指針とし、リグレット分析で探索を指針とすることで、不確実性下でも性能保証を達成する。
• 情報理論的反例を構築し、フレームワークが最悪ケースで可能な限り最良の性能保証を達成していることを証明する。

実験結果

リサーチクエスチョン

• RQ1 将来の需要パターンと顧客行動の分布が完全に未知である状況でも、オンラインリソース割り当てアルゴリズムが強い性能保証を達成できるか？
• RQ2 モデルの不確実性と敵対的な到着に対処するため、インベントリ・バランスとオンライン学習を効果的に統合する方法は何か？
• RQ3 このようなハイブリッドアルゴリズムの理論的性能限界は何か？ そして、それが最適であることを証明できるか？
• RQ4 LazyUCBによる探索の削減は、リソースが制限された環境での性能にどのように影響するか？
• RQ5 履歴データや事前学習済みモデルが不要な状況でも、このフレームワークを実世界の問題に適用可能か？

主な発見

• IBOLアルゴリズムは一般に競合比1/2を達成し、リソース容量が大きくなると(1−1/e)に近づき、既知の理論的限界と一致する。
• 確率的報酬を伴うオンラインマッチングの合成インスタンスにおいて、IBOLはベースライン手法を上回り、ε=0.01、v₀=40の条件下で最適性能の98.4%に達する。
• 実世界のホテルデータセットにおいて、IBOLはインベントリ規模が変化しても強固な性能を維持し、v₀=100、インベントリスケール0.5の条件下でOPTの93.3%を達成する。
• LazyUCBの変種は、標準のUCBと比較して探索を顕著に削減し、低容量環境下での効果的利用を促進し、性能向上をもたらす。
• 高インベントリ環境下では、Conserv-TSベースラインがGdy-TSおよびIB-TSを常に上回るが、IBOLはあらゆるスケールで強固な性能を維持する。
• 情報理論的反例を用いた理論的分析により、フレームワークの性能保証が近似的に最適であり、リグレットと競合比の最良のトレードオフを達成していることが確認された。