[论文解读] A Note on a Tight Lower Bound for MNL-Bandit Assortment Selection Models

Xi Chen, Yining Wang|arXiv (Cornell University)|Sep 18, 2017

Advanced Bandit Algorithms Research被引用 14

一句话总结

本文為容量受限的MNL-bandit组合选择问题建立了紧致的信息论下界，证明了任何策略在对数因子范围内至少需承受Ω(√(NT))的遗憾。通过在KL散度计算中引入细化的邻近集合分析，该结果弥合了先前上界与下界之间O(√K)的差距，使下界与所有参数N、T和K的现有上界完全匹配。

ABSTRACT

In this short note we consider a dynamic assortment planning problem under the capacitated multinomial logit (MNL) bandit model. We prove a tight lower bound on the accumulated regret that matches existing regret upper bounds for all parameters (time horizon $T$, number of items $N$ and maximum assortment capacity $K$) up to logarithmic factors. Our results close an $O(\sqrt{K})$ gap between upper and lower regret bounds from existing works.

研究动机与目标

• 弥合容量受限MNL-bandit组合选择中现有上界与下界之间O(√K)的遗憾差距。
• 建立一个紧致的信息论下界，使遗憾下界与已知上界仅相差对数因子。
• 分析在容量约束下，基于多项式对数几率选择模型的动态组合规划的根本极限。
• 通过考虑大小为K−1的邻近子集而非空集，对标准KL散度论证进行改进，使下界提升O(√(1/K))因子。

提出的方法

• 构建具有N个商品、收益参数r_i = 1以及偏好参数v_i ∈ {1/K, (1+ε)/K}的对抗性问题实例。
• 为每个大小为K的子集S ⊆ [N] 定义参数化分布P_S，其中当i ∈ S时v_i = (1+ε)/K，否则v_i = 1/K。
• 使用邻近论证比较分布P_S'与P_S'∪{i}，聚焦于给定S_t条件下的KL散度。
• 利用引理3界定条件分布之间的KL散度，该引理通过对数不等式将概率差异与KL散度关联。
• 应用Hölder不等式与Jensen不等式，将期望选择次数与整体遗憾下界关联。
• 设定ε = min{0.05√(N/T), 0.5}，以平衡√(NT)与T项之间的权衡，从而得出紧致的Ω(min{√(NT), T})遗憾下界。

实验结果

研究问题

• RQ1 容量受限的MNL-bandit组合选择中，遗憾的根本极限是什么？其随N、T和K如何变化？
• RQ2 能否通过信息论方法弥合现有上界与下界之间O(√K)的遗憾差距？
• RQ3 在KL散度分析中，为何选择大小为K−1的邻近子集相较于使用空集能更优地提升下界？
• RQ4 当K ≤ N/4时，Ω(√(NT))的下界是否仍然成立？对于更大的K值，其行为如何？
• RQ5 该遗憾下界是否在对数因子范围内紧致，与最佳已知上界相匹配？

主要发现

• 本文证明，当K ≤ N/4时，任何策略在容量受限的MNL-bandit模型中均存在紧致的遗憾下界Ω(min{√(NT), T})。
• 该下界与现有上界O(√(NT) log TK)在T、K和N的对数因子范围内完全匹配。
• 相较于先前下界，改进之处源于在KL散度分析中使用大小为K−1的邻近子集，消除了O(√(1/K))因子。
• 该下界在log T范围内紧致，上界与下界之间仅剩对数差距。
• 结果确认，当T = Ω(N)时，√(NT)是遗憾的正确缩放，这正是动态组合规划中的典型情形。
• 分析表明，容量约束K ≤ N/4对当前证明技术至关重要，尽管作者推测该下界在K/N → γ < 1/2时仍成立。