[论文解读] Learning to Optimize Via Posterior Sampling

Daniel Russo, Benjamin Van Roy|arXiv (Cornell University)|Jan 11, 2013

Advanced Bandit Algorithms Research参考文献 31被引用 15

一句话总结

本文提出后验抽样（Thompson Sampling）作为一种在在线优化中平衡探索与利用的方法，特别适用于具有依赖关系的多臂赌博机问题。它建立了后验抽样与UCB算法之间的理论联系，并通过一种新概念——可逃避维数（eluder dimension），推导出一个通用的贝叶斯后悔边界，该边界在线性模型和广义线性模型中与现有边界相当或更优。

ABSTRACT

This paper considers the use of a simple posterior sampling algorithm to balance between exploration and exploitation when learning to optimize actions such as in multi-armed bandit problems. The algorithm, also known as Thompson Sampling, offers significant advantages over the popular upper confidence bound (UCB) approach, and can be applied to problems with finite or infinite action spaces and complicated relationships among action rewards. We make two theoretical contributions. The first establishes a connection between posterior sampling and UCB algorithms. This result lets us convert regret bounds developed for UCB algorithms into Bayesian regret bounds for posterior sampling. Our second theoretical contribution is a Bayesian regret bound for posterior sampling that applies broadly and can be specialized to many model classes. This bound depends on a new notion we refer to as the eluder dimension, which measures the degree of dependence among action rewards. Compared to UCB algorithm Bayesian regret bounds for specific model classes, our general bound matches the best available for linear models and is stronger than the best available for generalized linear models. Further, our analysis provides insight into performance advantages of posterior sampling, which are highlighted through simulation results that demonstrate performance surpassing recently proposed UCB algorithms.

研究动机与目标

• 开发一种在不确定环境下具有依赖动作奖励的在线优化中，理论基础扎实且实用的算法。
• 解决UCB算法的局限性，后者需要精心设计置信集，且计算成本较高。
• 为后验抽样提供一个适用于多种模型类别的通用贝叶斯后悔边界。
• 引入并形式化可逃避维数的概念，作为动作间奖励依赖程度的度量。
• 通过理论分析与仿真结果证明，后验抽样在性能上优于当前最先进的UCB算法。

提出的方法

• 本文提出一种后验抽样算法，根据动作在后验分布下为最优的概率来选择动作，使用从奖励函数后验分布中抽取的样本。
• 通过证明任意置信区间序列均可用于界定后验抽样的贝叶斯后悔，建立了后验抽样与UCB之间的理论联系。
• 该方法引入可逃避维数作为函数类复杂性的度量，量化动作奖励之间的依赖程度。
• 对于线性模型和广义线性模型等特定模型，通过分析设计矩阵和逆协方差矩阵的增长，推导出显式的后悔边界。
• 分析使用矩阵行列式引理和特征值界来控制信息矩阵的增长，从而实现有限时间内的后悔边界。
• 将这些技术应用于推导出次优动作被选择次数的边界，从而在许多情况下实现对数形式的后悔。

实验结果

研究问题

• RQ1 后验抽样能否在具有依赖关系的在线优化中实现强理论性能保证？
• RQ2 在后悔边界方面，后验抽样的性能与UCB算法相比如何？
• RQ3 可逃避维数在刻画贝叶斯优化中函数类复杂性方面起什么作用？
• RQ4 后验抽样与UCB之间的联系能否形式化，以将现有的UCB后悔边界推广到贝叶斯设置？
• RQ5 在实践中，后验抽样是否优于最先进的UCB算法，特别是在高维或复杂模型中？

主要发现

• 后验抽样的贝叶斯后悔被任意置信区间序列所界定，建立了与UCB算法的直接理论联系。
• 后验抽样的通用后悔边界依赖于可逃避维数，该维数衡量了动作奖励之间的依赖结构。
• 对于线性模型，该边界与基于UCB的最佳已知贝叶斯后悔边界一致，证实了其强大的理论性能。
• 对于广义线性模型，该边界强于现有最佳UCB基贝叶斯后悔边界，表明其性能优势。
• 仿真结果表明，后验抽样在累积后悔方面始终优于近期提出的UCB算法。
• 次优动作被选择的次数受可逃避维数和问题参数的函数所限制，从而在许多设定中实现对数形式的后悔。