[論文レビュー] Learning to Order for Inventory Systems with Lost Sales and Uncertain Supplies

Boxiao Chen, Jiashuo Jiang+2 more|arXiv (Cornell University)|Jul 10, 2022

Advanced Bandit Algorithms Research被引用数 14

ひとこと要約

本稿では、確率的リードタイムと不確実な供給を伴う失念販売在庫システムに対するオンライン学習アルゴリズムを提案する。需要と供給の分布が未知である状況において、独創的なシミュレーション技術と高確率的カップリング論法を用いて、遮断データ（censored data）を活用する。その結果、最適な定常注文ポリシーに対するレグレットバウンドが $\tilde{O}(L + \sqrt{T})$ に達し、供給の不確実性がある設定において、初めて有限サンプルにおける $\tilde{O}(\sqrt{T})$ レグレットを達成した。

ABSTRACT

We consider a stochastic lost-sales inventory control system with a lead time $L$ over a planning horizon $T$. Supply is uncertain, and is a function of the order quantity (due to random yield/capacity, etc). We aim to minimize the $T$-period cost, a problem that is known to be computationally intractable even under known distributions of demand and supply. In this paper, we assume that both the demand and supply distributions are unknown and develop a computationally efficient online learning algorithm. We show that our algorithm achieves a regret (i.e. the performance gap between the cost of our algorithm and that of an optimal policy over $T$ periods) of $O(L+\sqrt{T})$ when $L\geq\log(T)$. We do so by 1) showing our algorithm cost is higher by at most $O(L+\sqrt{T})$ for any $L\geq 0$ compared to an optimal constant-order policy under complete information (a well-known and widely-used algorithm) and 2) leveraging its known performance guarantee from the existing literature. To the best of our knowledge, a finite-sample $O(\sqrt{T})$ (and polynomial in $L$) regret bound when benchmarked against an optimal policy is not known before in the online inventory control literature. A key challenge in this learning problem is that both demand and supply data can be censored; hence only truncated values are observable. We circumvent this challenge by showing that the data generated under an order quantity $q^2$ allows us to simulate the performance of not only $q^2$ but also $q^1$ for all $q^1

研究の動機と目的

• 需要と供給の両方の不確実性、分布が未知、データが遮断されている状況における在庫管理の課題に取り組む。
• リアルタイムで未知の需要と供給分布に適応可能な計算効率の良いオンライン学習アルゴリズムを開発する。
• 最適な定常注文ポリシーを基準として、有限サンプルにおけるレグレットバウンド $\tilde{O}(L + \sqrt{T})$ を確立する。
• 標準的な学習手法（SGD やバイセクション法）が適用できない非凸な目的関数の課題を克服する。
• 需要および供給からの遮断観測がある中で、定常状態におけるポリシーの性能評価を可能にする。

提案手法

• 遮断データに基づいてポリシーの性能を評価するための擬似コスト指標を用いることで、完全な分布知識がなくても間接的な比較が可能になる。
• 重要な洞察として、より大きな注文量 $q^2$ に基づいて生成されたデータを用いて、任意の小さい注文量 $q^1 < q^2$ の性能をシミュレート可能であり、探索コストを削減できる。
• 高確率的カップリング論法により、学習ポリシー下でのシステムが $O(\log T)$ 期間以内に定常状態に達することが保証され、有効な性能比較が可能になる。
• 凸性に依存しないアクティブな除外法を設計し、逐次的に非最適な注文量を除外することで、最適化のための制約を回避する。
• ランダムヤイルドおよびランダムキャパシティの供給関数を同時に扱えるようにアルゴリズムを構築しており、実務で一般的なケースに対応する。
• レグレット解析では、最適な定常注文ポリシーの既知の性能保証を活用し、アルゴリズムのコストと最適ポリシーのコストの差をバウンドする。

(a) The performance of Algorithm 1 with different critical ratios.

実験結果

リサーチクエスチョン

• RQ1 失念販売と供給の不確実性を併せ持つ在庫システムにおいて、オンライン学習アルゴリズムがサブ線形なレグレットバウンドを達成できるか？
• RQ2 需要と供給の両方のデータが遮断されている状況で、異なる注文ポリシーの性能をどのように評価できるか？
• RQ3 遮断観測下で最適な注文意思決定を学ぶために必要な最小限の探索コストは何か？
• RQ4 非凸な在庫制御問題に対して、アクティブな除外に基づく学習アプローチで効果的に解けるか？
• RQ5 供給の不確実性がある状況で、リードタイム $L$ と計画期間 $T$ の増加に伴い、レグレットはどのように変化するか？

主な発見

• 提案されたアルゴリズムは、最適な定常注文ポリシーと比較して $\tilde{O}(L + \sqrt{T})$ のレグレットバウンドを達成し、供給の不確実性がある設定において、初めて有限サンプルにおける $\tilde{O}(\sqrt{T})$ レグレットを達成した。
• $L \geq \Omega(\log T)$ の場合、アルゴリズムのレグレットは最適ポリシーへの収束レートと一致し、漸近的最適性を示している。
• 数値実験では、供給の分散がレグレットにほとんど影響しないことが示され、$T$ が 1000 に達するにつれて相対的レグレットは 5% 以内に収縮した。
• レグレットはリードタイム $L$ の増加に伴い増加し、理論的なレグレットバウンドにおける $\tilde{O}(L)$ の依存関係と整合的である。
• 最適な定常注文ポリシーの性能は動的計画法の解から2%以内であり、ベンチマークとしての有効性が裏付けられた。
• 需要の分散の変動にかかわらずアルゴリズムの性能は頑健であり、需要の不確実性が高まるほどレグレットが増加する傾向を示した。

(b) The performance of Algorithm 1 with different supply variance.