[论文解读] An Optimal Policy for Dynamic Assortment Planning Under Uncapacitated Multinomial Logit Models

Xi Chen, Yining Wang+1 more|arXiv (Cornell University)|May 12, 2018

Advanced Bandit Algorithms Research参考文献 28被引用 6

一句话总结

本文提出了一种基于三分法的动态产品组合策略，适用于无容量限制的多项对数（MNL）模型，实现了与产品数量 $N$ 无关的最优后悔界 $O(\tilde{O}(\frac{1}{2}\text{log}T))$。通过利用收益潜力函数和自适应置信区间，该方法避免了显式估计效用值，并匹配了 $\tilde{\theta}(\frac{1}{2}\text{log}T)$ 的下界，从而在无需对平均效用或收益可分性做任何假设的前提下，证明了其最优性。

ABSTRACT

We study the dynamic assortment planning problem, where for each arriving customer, the seller offers an assortment of substitutable products and customer makes the purchase among offered products according to an uncapacitated multinomial logit (MNL) model. Since all the utility parameters of MNL are unknown, the seller needs to simultaneously learn customers' choice behavior and make dynamic decisions on assortments based on the current knowledge. The goal of the seller is to maximize the expected revenue, or equivalently, to minimize the expected regret. Although dynamic assortment planning problem has received an increasing attention in revenue management, most existing policies require the estimation of mean utility for each product and the final regret usually involves the number of products $N$. The optimal regret of the dynamic assortment planning problem under the most basic and popular choice model---MNL model is still open. By carefully analyzing a revenue potential function, we develop a trisection based policy combined with adaptive confidence bound construction, which achieves an {item-independent} regret bound of $O(\sqrt{T})$, where $T$ is the length of selling horizon. We further establish the matching lower bound result to show the optimality of our policy. There are two major advantages of the proposed policy. First, the regret of all our policies has no dependence on $N$. Second, our policies are almost assumption free: there is no assumption on mean utility nor any "separability" condition on the expected revenues for different assortments. Our result also extends the unimodal bandit literature.

研究动机与目标

• 解决无容量限制多项对数（MNL）选择模型下动态产品组合规划中最优后悔的开放问题。
• 设计一种避免显式估计产品效用参数的策略，当产品数量 $N$ 相对于时间跨度 $T$ 较大时，显式估计效用将变得不可行。
• 实现与 $N$ 无关的后悔，克服现有基于最大似然估计方法所产生的 $N$ 的多项式形式的后悔。
• 建立匹配的下界，以证明所提策略在后悔尺度上的最优性。

提出的方法

• 利用按收益排序的产品组合结构，其中最优组合对应于对产品收益的截断，从而将问题简化为在一维参数 $\theta$ 上进行搜索。
• 引入一个潜力函数 $F(\theta)$，表示当提供所有收益 $\rho_i \geq \theta$ 的产品时的期望收益，并证明 $F(\theta)$ 的最大化者 $\theta^*$ 对应最优组合。
• 开发一种三分法搜索策略，通过比较 $F(\theta)$ 与参考线以确定局部单调性，从而动态定位 $\theta^*$。
• 采用自适应置信区间以优化搜索过程，消除了 $T$ 中的对数因子，实现了 $O(\tilde{O}(\tfrac{1}{2}\text{log}T))$ 的后悔。
• 利用 $\theta^*$ 的不动点刻画，即作为方程 $F(\theta) = \theta$ 的解，从而实现高效且理论基础坚实的搜索。
• 设计一种无间隙、无假设的策略，无需可分性条件或对平均效用的先验知识。

实验结果

研究问题

• RQ1 能否设计一种无需显式估计效用的动态产品组合策略，实现与产品数量 $N$ 无关的后悔？
• RQ2 在无容量限制的MNL模型下，动态产品组合规划的最优后悔尺度是什么？
• RQ3 能否构造一种策略，使其在该设置下的后悔达到 $\tilde{\theta}(\tfrac{1}{2}\text{log}T)$ 的下界？
• RQ4 如何利用收益潜力函数 $F(\theta)$ 的结构，实现在产品组合空间中的高效且最优的搜索？

主要发现

• 所提出的基于三分法的策略实现了 $O(\tilde{O}(\tfrac{1}{2}\text{log}T))$ 的后悔界，该界在对数因子范围内为最优。
• 三分法策略的自适应变体实现了 $O(\tilde{O}(\tfrac{1}{2}\text{log}T))$ 的后悔，消除了基础版本中存在于 $T$ 中的对数因子。
• 实验结果表明，随着 $N$ 增大，所提算法（Trisec 和 Adap-Trisec）的后悔保持稳定且较低，而 UCB 和 Thompson 等竞争算法的后悔则随 $N$ 呈多项式增长。
• 在所有测试的 $N$ 和 $T$ 设置下，Adap-Trisec 算法在平均和最大后悔方面均持续优于 Trisec 及所有其他竞争算法。
• 黄金分割搜索（Grs）算法由于其固定的探索-利用结构，表现出性能不稳定，导致平均与最大后悔之间的差距更大。
• 本文建立了匹配的下界 $\tilde{\theta}(\tfrac{1}{2}\text{log}T)$，证明了所提策略在后悔尺度上的最优性。