[论文解读] Assortment Optimization under Unknown MultiNomial Logit Choice Models

Wang Chi Cheung, David Simchi‐Levi|arXiv (Cornell University)|Apr 1, 2017

Advanced Bandit Algorithms Research参考文献 10被引用 8

一句话总结

该论文提出了一种在未知多项对数（MNL）选择模型且存在资源约束条件下进行在线组合优化的策略，通过利用组合选择概率的置信区间，实现了次线性 regret。该研究提出了一种高效的策略，其 regret 为 $\tilde{O}(T^{2/3})$，以及一种基于 UCB 的策略，其 regret 为 $\tilde{O}(T^{1/2})$，两者在组合数量上均为次线性，这是通过利用 MNL 模型的结构特性实现的。

ABSTRACT

Motivated by e-commerce, we study the online assortment optimization problem. The seller offers an assortment, i.e. a subset of products, to each arriving customer, who then purchases one or no product from her offered assortment. A customer's purchase decision is governed by the underlying MultiNomial Logit (MNL) choice model. The seller aims to maximize the total revenue in a finite sales horizon, subject to resource constraints and uncertainty in the MNL choice model. We first propose an efficient online policy which incurs a regret $ ilde{O}(T^{2/3})$, where $T$ is the number of customers in the sales horizon. Then, we propose a UCB policy that achieves a regret $ ilde{O}(T^{1/2})$. Both regret bounds are sublinear in the number of assortments.

研究动机与目标

• 解决在底层 MNL 选择模型未知且资源约束限制产品可得性时的在线组合优化问题。
• 在不确定性和有限资源预算下，最小化 regret（即卖家收益与拥有完整模型知识的 oracle 收益之间的差值）。
• 开发计算高效的策略，在有限销售周期内学习 MNL 模型的同时最大化收益。
• 通过利用 MNL 模型的结构特性，使 regret 边界在可能的组合数量上为次线性。

提出的方法

• 提出一种在线策略 { t Online}($\tau$)，包含长度为 $\tau$ 的学习阶段，以在未知 MNL 模型中平衡探索与利用。
• 利用集中不等式，为每个组合建立选择概率的置信区间，从而在不确定性下实现稳健学习。
• 引入一种基于 UCB 的策略，利用 MNL 参数的上置信区间来指导组合选择，以减少 regret。
• 采用线性规划松弛（UCB-LP）来指导策略决策，并在资源约束下确保可行性。
• 应用 Azuma-Hoeffding 及其他鞅集中不等式，以界定估计误差和资源消耗偏差。
• 通过将资源消耗分解为估计误差、模型误差和策略误差三项，证明了总资源消耗的有界性。

实验结果

研究问题

• RQ1 当 MNL 选择模型未知且存在资源约束时，能否高效地执行在线组合优化？
• RQ2 在此设置下可实现怎样的 regret 边界？能否使其在可能的组合数量上为次线性？
• RQ3 如何构建组合层面选择概率的置信区间，以在资源约束下实现高效学习？
• RQ4 能否利用 MNL 模型的特殊结构，避免单独学习所有组合？

主要发现

• 所提出的 { t Online}($\tau$) 策略实现了 $\tilde{O}(T^{2/3})$ 的 regret 边界，该边界在客户数量 $T$ 上为次线性。
• 基于 UCB 的策略实现了 $\tilde{O}(\sqrt{T})$ 的 regret 边界，在存在资源约束的情况下优于以往结果。
• 两种 regret 边界均在组合数量上为次线性，而以往方法的 regret 在组合数量上为线性。
• 该方法建立了新颖的组合选择概率置信区间，这对于在资源约束下学习至关重要。
• 资源消耗被证明以高概率有界，确保在整个销售周期内保持可行性。
• 分析表明，利用 MNL 模型结构可显著降低 regret，相比通用 bandit 或组合 bandit 方法具有明显优势。