[论文解读] Dynamic Assortment Selection under the Nested Logit Models

Xi Chen, Shi, Chao+2 more|arXiv (Cornell University)|Jun 27, 2018

Supply Chain and Inventory Management参考文献 36被引用 8

一句话总结

该论文提出了一种基于上置信度界（UCB）的策略，用于嵌套对数极值模型下的动态组合优化，利用按收益排序的组合结构和聚合效用估计，实现了 $\widetilde{O}(\sqrt{MNT})$ 的遗憾边界，接近最优。此外，还引入了一种离散化启发式方法，以在每巢产品数量较多时提升性能。

ABSTRACT

We study a stylized dynamic assortment planning problem during a selling season of finite length $T$. At each time period, the seller offers an arriving customer an assortment of substitutable products and the customer makes the purchase among offered products according to a discrete choice model. The goal of the seller is to maximize the expected revenue, or equivalently, to minimize the worst-case expected regret. One key challenge is that utilities of products are unknown to the seller and need to be learned. Although the dynamic assortment planning problem has received increasing attention in revenue management, most existing work is based on the multinomial logit choice models (MNL). In this paper, we study the problem of dynamic assortment planning under a more general choice model -- the nested logit model, which models hierarchical choice behavior and is ``the most widely used member of the GEV (generalized extreme value) family''. By leveraging the revenue-ordered structure of the optimal assortment within each nest, we develop a novel upper confidence bound (UCB) policy with an aggregated estimation scheme. Our policy simultaneously learns customers' choice behavior and makes dynamic decisions on assortments based on the current knowledge. It achieves the accumulated regret at the order of $ ilde{O}(\sqrt{MNT})$, where $M$ is the number of nests and $N$ is the number of products in each nest. We further provide a lower bound result of $Ω(\sqrt{MT})$, which shows the near optimality of the upper bound when $T$ is much larger than $M$ and $N$. When the number of items per nest $N$ is large, we further provide a discretization heuristic for better performance of our algorithm. Numerical results are presented to demonstrate the empirical performance of our proposed algorithms.

研究动机与目标

• 填补在嵌套对数极值模型下动态组合优化的研究空白，该模型相较于多项对数极值（MNL）模型更具一般性且应用更广泛，且放松了无关选项独立性（IIA）假设。
• 设计一种计算高效的策略，能够在有限时域设置下，同时学习未知的产品效用并选择最优组合。
• 在嵌套对数极值框架下，实现一个非渐近的遗憾边界，其随时间跨度 $T$、巢穴数 $M$ 和每巢产品数 $N$ 的平方根增长。
• 通过上界和匹配的下界 $\Omega(\sqrt{MT})$ 提供理论保证，证明当 $T \gg M,N$ 时，结果接近最优。
• 通过一种离散化启发式方法，提升在 $N$ 较大时的实验性能，该方法对每个巢穴内产品的效用估计进行聚合。

提出的方法

• 利用每个巢穴内最优组合的收益排序结构，设计一种平衡探索与利用的UCB策略。
• 引入一种聚合估计方案，将同一巢穴内各产品观测到的购买数据进行汇总，以提高效用估计的准确性。
• 设计一种UCB策略，维护产品和巢穴平均效用的置信区间，利用嵌套对数极值模型的层次结构。
• 通过将每个巢穴内的产品根据其效用估计值分组为若干区间，应用离散化启发式方法，降低估计方差并改善遗憾性能。
• 利用嵌套对数极值模型的数学结构——即选择首先在巢穴层级发生，然后在巢穴内部发生——将决策与学习问题进行分解。
• 利用集中不等式推导理论遗憾边界，并利用模型的层次结构控制累积遗憾的增长。

实验结果

研究问题

• RQ1 能否为嵌套对数极值模型下的动态组合优化设计一种基于UCB的策略，使其达到次线性遗憾边界？
• RQ2 在嵌套对数极值模型下，动态组合优化的遗憾是否存在根本限制（下界）？该下界与所提出的上界如何比较？
• RQ3 每巢产品数 ($N$) 如何影响遗憾？在 $N$ 较大时，离散化能否改善性能？
• RQ4 当 $T$ 相对于 $M$ 和 $N$ 较大时，所提出的策略是否在遗憾缩放上达到近似最优？
• RQ5 在存在层次化选择行为的情况下，聚合估计方案是否能有效降低估计误差并改善遗憾？

主要发现

• 所提出的UCB策略实现了非渐近遗憾边界 $\widetilde{O}(\sqrt{MNT} + MN^2)$，这是首次在嵌套对数极值模型下实现此类结果的动态组合优化研究。
• 遗憾上界为 $\widetilde{O}(\sqrt{MNT})$，当 $T \gg M,N$ 时，与理论下界 $\Omega(\sqrt{MT})$ 匹配，表明结果接近最优。
• 数值实验表明，当不使用离散化（$\delta = 0$）时，遗憾随每巢产品数 $N$ 近似呈 $O(\sqrt{N})$ 增长，验证了理论边界。
• 离散化启发式方法显著降低了遗憾随 $N$ 增大而增长的速度，证明在 $N$ 较大时具有更优的实验性能。
• UCB算法在大多数设置下优于基线方法如Thompson Sampling（TS）和Exp-Exp，尽管在某些情况下TS表现也较为接近。
• 结果证实，聚合估计方案能有效降低方差，并在层次化嵌套对数极值框架下支持高效学习。