[论文解读] Combinatorial Cascading Bandits

Branislav Kveton, Zheng Wen+2 more|arXiv (Cornell University)|Jul 15, 2015

Advanced Bandit Algorithms Research参考文献 9被引用 13

一句话总结

本文提出了组合级联Bandits（combinatorial cascading bandits），一种新颖的部分监控框架，用于具有组合动作、非线性奖励函数和部分反馈的在线学习。它提出了 ${\tt CombCascade}$，一种类似UCB的算法，通过最大化上界置信度的乘积来处理非线性奖励和部分可观察性，实现了依赖于差距和不依赖于差距的遗憾边界，推广了先前关于随机组合Bandits的工作。

ABSTRACT

We propose combinatorial cascading bandits, a class of partial monitoring problems where at each step a learning agent chooses a tuple of ground items subject to constraints and receives a reward if and only if the weights of all chosen items are one. The weights of the items are binary, stochastic, and drawn independently of each other. The agent observes the index of the first chosen item whose weight is zero. This observation model arises in network routing, for instance, where the learning agent may only observe the first link in the routing path which is down, and blocks the path. We propose a UCB-like algorithm for solving our problems, CombCascade; and prove gap-dependent and gap-free upper bounds on its $n$-step regret. Our proofs build on recent work in stochastic combinatorial semi-bandits but also address two novel challenges of our setting, a non-linear reward function and partial observability. We evaluate CombCascade on two real-world problems and show that it performs well even when our modeling assumptions are violated. We also demonstrate that our setting requires a new learning algorithm.

研究动机与目标

• 建模并解决具有组合动作、非线性奖励函数（项目权重的逻辑与）和部分反馈（仅观察到第一个权重为零的项目）的在线学习问题。
• 开发一种计算高效的算法，可适应任意可行集，而不仅限于先前工作中所限的均匀拟阵。
• 在部分可观察性和非线性奖励下，为所提算法建立理论遗憾边界——包括依赖于差距和不依赖于差距的边界。
• 通过实证结果表明，当模型假设被违反时，${\tt CombCascade}$ 的表现优于现有算法如 ${\tt CombUCB1}$。
• 表明标准的基于UCB的半Bandits算法在此设置下会失效，原因在于非线性奖励和部分反馈，因此需要一种新的算法方法。

提出的方法

• 将问题形式化为组合级联Bandits $B = (E, P, \Theta)$，其中 $E$ 是 $L$ 个基础项目的集合，$P$ 是二值权重的独立同分布分布，$\Theta$ 是不同项目元组的任意可行集合。
• 将奖励定义为 $\mathbf{r}_t = \bigwedge_{e \in \mathbf{A}_t} \mathbf{w}_t(e)$，即仅当所选解中的所有项目权重均为1时，奖励才为1。
• 引入 ${\tt CombCascade}$，一种类似UCB的算法，其选择解基于单个项目上界置信度（UCB）的乘积，而非像 ${\tt CombUCB1}$ 那样基于其和。
• 使用一种改进的UCB上界置信度，利用期望权重被限制在1以内的事实，这对遗憾分析至关重要。
• 采用一种新颖的分析技术，通过统计次优项目的选择次数，将近期关于随机组合半Bandits的工作扩展至处理非线性奖励和部分可观察性。
• 推导出依赖于差距和不依赖于差距的遗憾边界，其中依赖于差距的边界为 $O(\sum_{i \in \text{suboptimal}} \frac{\log n}{\Delta_i})$，不依赖于差距的边界为 $O(\sqrt{K \log n})$，其中 $K$ 是解的最大大小。

实验结果

研究问题

• RQ1 能否为具有非线性奖励函数和部分反馈的组合Bandits设计并理论分析一种基于UCB的算法？
• RQ2 在非拟阵可行集中，最大化UCB的乘积（而非其和）是否能带来更好的性能和遗憾边界？
• RQ3 ${\tt CombCascade}$ 在i.i.d.和独立权重假设被违反时的实际表现如何？
• RQ4 在非线性奖励和部分反馈的设置下，现有算法如 ${\tt CombUCB1}$ 是否可能失效，即使在更简单的情况下表现良好？
• RQ5 此类问题的遗憾理论极限是什么？边界中的 $f^*$ 因子是否具有内在性？

主要发现

• ${\tt CombCascade}$ 达到了依赖于差距的遗憾边界 $O\left(\sum_{i \in \text{suboptimal}} \frac{\log n}{\Delta_i}\right)$，其中 $\Delta_i$ 是最优与次优项目之间的差距。
• 不依赖于差距的遗憾边界为 $O(\sqrt{K \log n})$，与已知的下界仅在对数因子内匹配。
• 实证评估表明，即使在模型违反的情况下，${\tt CombCascade}$ 在真实世界的路由和推荐任务中也优于 ${\tt CombUCB1}$。
• 该算法在任何可行集上都具有计算效率，只要线性优化是可处理的，例如图中的路径或项目列表。
• 本文证明了 ${\tt CombUCB1}$ 在非拟阵环境中可能失效，原因在于其对基于和的UCB最大化的依赖，从而凸显了 ${\tt CombCascade}$ 中基于乘积的方法的必要性。
• 理论分析表明，关键挑战在于处理非线性奖励函数和部分可观察性，这需要与先前半Bandit框架根本不同的分析方法。