[论文解读] Learning to Order for Inventory Systems with Lost Sales and Uncertain Supplies

Boxiao Chen, Jiashuo Jiang+2 more|arXiv (Cornell University)|Jul 10, 2022

Advanced Bandit Algorithms Research被引用 14

一句话总结

本文提出了一种针对随机交货期和不确定供应的缺货库存系统的在线学习算法，其中需求和供应的分布均未知。通过利用一种新颖的模拟技术与高概率耦合论证，该算法在与最优恒定订货策略对比时，实现了 $\tilde{O}(L + \sqrt{T})$ 的遗憾界，这是在存在供应不确定性的情况下，该设置中首个有限样本的 $\tilde{O}(\sqrt{T})$ 遗憾结果。

ABSTRACT

We consider a stochastic lost-sales inventory control system with a lead time $L$ over a planning horizon $T$. Supply is uncertain, and is a function of the order quantity (due to random yield/capacity, etc). We aim to minimize the $T$-period cost, a problem that is known to be computationally intractable even under known distributions of demand and supply. In this paper, we assume that both the demand and supply distributions are unknown and develop a computationally efficient online learning algorithm. We show that our algorithm achieves a regret (i.e. the performance gap between the cost of our algorithm and that of an optimal policy over $T$ periods) of $O(L+\sqrt{T})$ when $L\geq\log(T)$. We do so by 1) showing our algorithm cost is higher by at most $O(L+\sqrt{T})$ for any $L\geq 0$ compared to an optimal constant-order policy under complete information (a well-known and widely-used algorithm) and 2) leveraging its known performance guarantee from the existing literature. To the best of our knowledge, a finite-sample $O(\sqrt{T})$ (and polynomial in $L$) regret bound when benchmarked against an optimal policy is not known before in the online inventory control literature. A key challenge in this learning problem is that both demand and supply data can be censored; hence only truncated values are observable. We circumvent this challenge by showing that the data generated under an order quantity $q^2$ allows us to simulate the performance of not only $q^2$ but also $q^1$ for all $q^1

研究动机与目标

• 解决在需求和供应均不确定、分布未知且数据被删失的条件下库存控制的挑战。
• 开发一种计算高效的在线学习算法，能够实时适应未知的需求和供应分布。
• 在与最优恒定订货策略对比时，建立 $\tilde{O}(L + \sqrt{T})$ 的有限样本遗憾界。
• 克服目标函数缺乏凸性的问题，该问题使得标准学习方法（如SGD或二分法）无法适用。
• 在需求和供应均存在删失观测的情况下，实现对策略在稳态条件下的性能评估。

提出的方法

• 该算法使用伪成本度量来基于删失数据评估策略性能，从而在无需完整分布知识的情况下实现间接比较。
• 一个关键洞见使得能够利用在较大订货量 $q^2$ 下生成的数据，来模拟任意更小订货量 $q^1 < q^2$ 的性能，从而降低探索成本。
• 通过高概率耦合论证，确保学习策略下的系统在 $O(\log T)$ 个周期内达到稳态，从而支持有效的性能比较。
• 设计了一种主动剔除方法，以迭代方式排除次优订货量，避免依赖凸性。
• 该算法的结构能够处理随机产量和随机容量的供应函数，这些在实践中非常常见。
• 遗憾分析利用了最优恒定订货策略的已知性能保证，从而界定了算法成本与最优策略成本之间的差距。

(a) The performance of Algorithm 1 with different critical ratios.

实验结果

研究问题

• RQ1 在线学习算法是否能在同时存在缺货和供应不确定性的库存系统中实现次线性遗憾界？
• RQ2 当需求和供应数据均被删失时，如何评估不同订货策略的性能？
• RQ3 在删失观测下，学习最优订货决策所需的最小探索成本是多少？
• RQ4 能否通过基于主动剔除的学习方法有效解决非凸库存控制问题？
• RQ5 在存在供应不确定性的情况下，遗憾如何随交货期 $L$ 和规划时域 $T$ 变化？

主要发现

• 所提出的算法在与最优恒定订货策略对比时，实现了 $\tilde{O}(L + \sqrt{T})$ 的遗憾界，这是在存在供应不确定性的情况下，该设置中首个有限样本的 $\tilde{O}(\sqrt{T})$ 遗憾结果。
• 当 $L \geq \Omega(\log T)$ 时，算法的遗憾界与最优策略的收敛速率一致，表明其具有渐近最优性。
• 数值实验表明，供应方差对遗憾的影响可忽略不计，随着 $T$ 增加至 1000，相对遗憾缩小至 5% 以内。
• 遗憾随交货期 $L$ 增大而增加，与遗憾界中 $\tilde{O}(L)$ 的理论依赖关系一致。
• 最优恒定订货策略的性能与动态规划解的差距在 2% 以内，验证了其作为基准的合理性。
• 该算法在不同需求方差下表现稳健，遗憾随需求不确定性增加而上升。

(b) The performance of Algorithm 1 with different supply variance.