[论文解读] Learning to Act Greedily: Polymatroid Semi-Bandits

Branislav Kveton, Zheng Wen+2 more|arXiv (Cornell University)|May 30, 2014

Advanced Bandit Algorithms Research参考文献 32被引用 7

一句话总结

本文提出了多面体半- bandits（Polymatroid Semi-Bandits）框架，这是一种在随机 bandit 设置下，针对已知多面体上未知模函数进行最大化的新型学习方法。作者提出了乐观多面体最大化（OPM）算法，该算法结合贪心基选择与置信区间上界策略，实现了紧致的遗憾界——在差距相关情形下为常数因子紧致，在无差距情形下为对数多项式因子紧致，展示了在三个真实世界问题中的实际效率。

ABSTRACT

Many important optimization problems, such as the minimum spanning tree and minimum-cost flow, can be solved optimally by a greedy method. In this work, we study a learning variant of these problems, where the model of the problem is unknown and has to be learned by interacting repeatedly with the environment in the bandit setting. We formalize our learning problem quite generally, as learning how to maximize an unknown modular function on a known polymatroid. We propose a computationally efficient algorithm for solving our problem and bound its expected cumulative regret. Our gap-dependent upper bound is tight up to a constant and our gap-free upper bound is tight up to polylogarithmic factors. Finally, we evaluate our method on three problems and demonstrate that it is practical.

研究动机与目标

• 形式化一个通用学习问题，目标是在随机bandit设置下，对已知多面体上的未知模函数进行最大化。
• 设计一种计算高效的算法，利用面对不确定性的乐观策略，实现部分反馈下的组合优化。
• 推导出紧致的遗憾界——包括差距相关与无差距情形，充分利用多面体的结构特性。
• 在合成数据与真实世界问题（包括网络路由与电影推荐）上评估该算法，以证明其实际可行性和样本效率。

提出的方法

• OPM算法基于UCB驱动的探索策略，以贪心方式选择基，其中每个项目置信区间的更新基于观测到的权重。
• 该算法为每个项目的权重维护上置信界（UCB），并选择使UCB总和最大的基，从而确保乐观探索。
• 遗憾分析依赖于多面体函数的子模性与单调性，使得其界限比通用组合bandit方法更紧致。
• 差距相关遗憾界为 $ O(L(1/ abla) ext{log }n) $，其中 $ L $ 为项目数量，$ abla $ 为最优与次优项目之间的最小差距，$ n $ 为回合数。
• 无差距遗憾界为 $ O( ext{polylog}(n) imes ext{poly}(K,L) imes ext{sqrt}(Kn)) $，与已知下界相比仅差 $ ext{sqrt}( ext{log }n) $ 因子。
• 该算法计算高效，每回合时间复杂度为 $ O(L ext{log }L) $，得益于贪心选择与高效的UCB更新。

实验结果

研究问题

• RQ1 贪心方法能否被有效适配于具有多面体约束的随机组合bandit问题？
• RQ2 在此设置下，一种乐观的贪心算法的理论遗憾性能如何？与通用bandit算法相比有何差异？
• RQ3 能否利用多面体的结构特性，推导出比标准组合bandit方法更紧致的遗憾界？
• RQ4 所提出的算法在真实世界问题（如网络路由与推荐系统）中的实际表现如何？
• RQ5 能否将无差距遗憾界改进至与已知下界完全一致，消除 $ ext{sqrt}( ext{log }n) $ 因子？

主要发现

• OPM算法实现了差距相关遗憾界 $ O(L(1/ abla) ext{log }n) $，在常数因子内紧致。
• 无差距遗憾界为 $ O( ext{sqrt}(KLn ext{log }n)) $，与已知 $ ext{Omega}( ext{sqrt}(Kn)) $ 下界相比仅差 $ ext{sqrt}( ext{log }n) $ 因子。
• 该算法计算高效，每回合时间复杂度为 $ O(L ext{log }L) $，显著优于基于投影的方法（如OSMD，其复杂度为 $ O(L^6) $）。
• 在合成实验中，差距相关界限约为实际遗憾的十倍，表明其具有极强的实际可行性。
• 该方法在真实世界问题中表现优异：在ISP网络中学习最优路由，在电影推荐中实现多样性推荐，证实了其实际可行性和样本效率。
• 作者推测，OPM的Thompson采样变体可能达到相似的遗憾界，基于UCB与Thompson采样在bandit设置下分析的相似性。