[论文解读] Matroid Bandits: Fast Combinatorial Optimization with Learning

Branislav Kveton, Zheng Wen+3 more|arXiv (Cornell University)|Mar 20, 2014

Advanced Bandit Algorithms Research参考文献 12被引用 50

一句话总结

本文提出了拟阵Bandits（matroid bandits），这是一种新型的组合Bandits问题，其目标是在随机权重下学习拟阵的最优基。论文提出了一种计算高效的贪心算法——乐观拟阵最大化（OMM），该算法在间隙相关和间隙无关两种情形下均实现了次线性遗憾，并在划分拟阵上证明了其紧致性，同时在实际的网络路由、微额贷款分配和电影推荐任务中展示了其实用性。

ABSTRACT

A matroid is a notion of independence in combinatorial optimization which is closely related to computational efficiency. In particular, it is well known that the maximum of a constrained modular function can be found greedily if and only if the constraints are associated with a matroid. In this paper, we bring together the ideas of bandits and matroids, and propose a new class of combinatorial bandits, matroid bandits. The objective in these problems is to learn how to maximize a modular function on a matroid. This function is stochastic and initially unknown. We propose a practical algorithm for solving our problem, Optimistic Matroid Maximization (OMM); and prove two upper bounds, gap-dependent and gap-free, on its regret. Both bounds are sublinear in time and at most linear in all other quantities of interest. The gap-dependent upper bound is tight and we prove a matching lower bound on a partition matroid bandit. Finally, we evaluate our method on three real-world problems and show that it is practical.

研究动机与目标

• 解决在由拟阵独立性定义的约束下，大规模问题中学习最优组合解的挑战。
• 开发一种实用且计算高效的算法，用于在拟阵上最大化一个随机模函数。
• 建立理论遗憾界——包括间隙相关和间隙无关的界限——这些界限在时间上为次线性，并在关键参数上线性。
• 在实际问题如网络路由、微额贷款分配和电影推荐中验证该方法。
• 证明OMM在遗憾方面达到最优性能，并且可扩展至实际应用。

提出的方法

• OMM采用乐观方法，维护项目权重的置信上界，并贪心地选择能最大化目标函数乐观估计的项目。
• 在每个回合中，OMM根据乐观权重估计对项目进行排序，并应用贪心拟阵算法以保持独立性，从而选择一个基。
• 该算法维护项目权重的经验均值估计，并应用置信区间以鼓励对不确定项目的探索。
• 遗憾分析依赖于拟阵的结构性质，特别是增强性质和基集合的独立性。
• 该方法在每轮中具有O(L log L)的时间复杂度，与排序相当，确保计算效率。
• OMM被设计为半Bandits算法，在每轮后可观察所有所选项目的奖励。

实验结果

研究问题

• RQ1 当权重初始未知时，学习算法能否高效地在拟阵上优化一个随机模函数？
• RQ2 在此设置下，能否为贪心的乐观算法证明理论遗憾界？
• RQ3 OMM在遗憾和计算效率方面与现有Bandits算法相比表现如何？
• RQ4 OMM能否在具有组合约束且建模为拟阵的实际问题中实际应用？
• RQ5 OMM的间隙相关遗憾界是否紧致？能否建立相应的下界？

主要发现

• OMM实现了间隙相关的遗憾界O(L(1/Δ) log n)，该界是紧致的，并在划分拟阵上与匹配的下界一致。
• 间隙无关的遗憾界在时间上为次线性，且在L和K上至多为线性，同时存在Ω(√L)的遗憾下界，表明在L较大时存在可扩展性限制。
• 在实验中，OMM在路由、贷款分配和电影推荐任务中均优于ε-贪心策略，并收敛至最优解。
• 随着回合数的增加，OMM的期望回报趋近于最优基A*的回报，表明其具有有效的学习能力。
• OMM在计算上高效，每轮时间复杂度为O(L log L)，适用于大规模问题。
• 该方法是首个在Bandits设置下为学习拟阵最大权重基提供紧致遗憾分析的工作。