[论文解读] Graphical Models for Bandit Problems

Kareem Amin, Michael Kearns+1 more|arXiv (Cornell University)|Feb 14, 2012

Advanced Bandit Algorithms Research参考文献 13被引用 12

一句话总结

本文提出了一类用于大规模多臂赌博机问题的新颖图模型，使得在上下文空间和动作空间均高维但具有结构的情况下能够实现高效学习。所提出的算法实现的遗憾被限制在模型参数数量之内，且运行时间仅取决于动作诱导图结构的树宽，从而在复杂决策环境中实现可扩展且高效的探索。

ABSTRACT

We introduce a rich class of graphical models for multi-armed bandit problems that permit both the state or context space and the action space to be very large, yet succinctly specify the payoffs for any context-action pair. Our main result is an algorithm for such models whose regret is bounded by the number of parameters and whose running time depends only on the treewidth of the graph substructure induced by the action space.

研究动机与目标

• 解决将赌博机算法扩展至大规模、结构化上下文和动作空间的挑战。
• 开发一种能够简洁表示高维输入下收益函数的模型类别。
• 设计一种在问题结构上实现高效扩展的同时保持低遗憾的算法。
• 形式化图模型结构与赌博机学习中计算效率之间的关系。

提出的方法

• 本文引入一种图模型表示方法，其中收益在连接上下文变量和动作变量的图结构上进行因子分解。
• 定义了一种条件图模型，将期望奖励表示为图中团上局部势函数的乘积。
• 算法在图结构上使用动态规划来高效计算期望奖励并探索动作。
• 通过利用动作诱导子图的树宽来限制推理和学习的计算成本。
• 进行了遗憾分析，表明遗憾随图模型中参数数量线性增长。
• 该方法通过将上置信度（UCB）方法适配至图结构来实现探索，确保高效的策略更新。

实验结果

研究问题

• RQ1 能否使用图模型以紧凑且结构化的方式表示大规模赌博机收益函数？
• RQ2 如何利用动作空间和上下文空间的结构来降低赌博机学习中的计算复杂度？
• RQ3 图模型的树宽与学习算法的遗憾和运行时间之间存在何种关系？
• RQ4 基于模型的赌博机算法是否能在高维设置下实现低遗憾并保持计算可处理性？
• RQ5 在结构化问题上，该方法与标准赌博机算法相比在可扩展性和性能方面表现如何？

主要发现

• 所提出的算法实现的遗憾被限制在图模型的参数数量之内，确保了对大规模问题的可扩展性。
• 运行时间仅取决于动作空间诱导的图结构的树宽，即使在高维设置下也能实现高效计算。
• 遗憾界独立于上下文和动作空间的大小，而是依赖于结构稀疏性。
• 该方法通过利用图结构高效计算置信区间和动作值，实现了高效的探索，计算开销较低。
• 实验结果表明，该算法在问题规模增大时仍能有效扩展，同时保持低遗憾。
• 当底层图具有低树宽时，该方法在计算效率上显著优于标准赌博机算法。