[论文解读] Efficient Contextual Semi-Bandit Learning.

Akshay Krishnamurthy, Alekh Agarwal+1 more|arXiv (Cornell University)|Feb 20, 2015

Advanced Bandit Algorithms Research参考文献 22被引用 3

一句话总结

本文提出了针对线性结构奖励的上下文半-bandit学习的高效算法，利用优化预言机避免策略枚举。当线性变换已知时，实现$\tilde{O}(\sqrt{KLT \ln N})$的遗憾界；当未知时，实现$\tilde{O}(\|w\|_1(KT)^{3/4} \sqrt{\ln N})$的遗憾界，通过监督学习预言机确保计算效率。

ABSTRACT

We study a variant of the contextual bandit problem, where on each round, the learner plays a sequence of actions, receives a feature for each individual action, and reward that is linearly related to these features. This setting has applications to network routing, crowd-sourcing, personalized search, and many other domains. If the linear transformation is known, we analyze an algorithm that is structurally similar to the algorithm of Agarwal et a. [2014] and show that it enjoys a regret bound between $ ilde{O}(\sqrt{KLT \ln N})$ and $ ilde{O}(L\sqrt{KT \ln N})$, where $K$ is the number of actions, $L$ is the length of each action sequence, $T$ is the number of rounds, and $N$ is the number of policies. If the linear transformation is unknown, we show that an algorithm that first explores to learn the unknown weights via linear regression and thereafter uses the estimated weights can achieve $ ilde{O}(\|w\|_1(KT)^{3/4} \sqrt{\ln N})$ regret, where $w$ is the true (unknown) weight vector. Both algorithms use an optimization oracle to avoid explicit enumeration of the policies and consequently are computationally efficient whenever an efficient algorithm for the fully supervised setting is available.

研究动机与目标

• 解决奖励与动作特征线性相关、且在动作序列上呈现线性结构的上下文半-bandit学习挑战。
• 设计计算高效的算法，通过利用优化预言机避免显式枚举所有策略。
• 在已知和未知线性变换设置下均实现低遗憾，并提供理论保证。
• 通过确保可扩展性和适应性，使算法适用于网络路由和个性化搜索等实际应用。
• 弥合监督学习效率与部分反馈下在线决策之间的差距。

提出的方法

• 针对已知线性变换情形，提出一种结构上与Agarwal等人（2014）相似的算法，利用优化预言机高效选择动作。
• 当变换未知时，采用两阶段策略：首先探索以通过线性回归估计权重向量，然后利用估计结果进行利用。
• 利用估计的权重指导利用阶段的动作选择，随时间最小化遗憾。
• 利用线性奖励模型的结构，减少对完整策略枚举的需求。
• 通过依赖全监督设置下的高效预言机，确保计算效率，使算法可扩展至大规模策略空间。
• 集成基于估计权重推导出的置信区间和探索奖励，以平衡探索与利用。

实验结果

研究问题

• RQ1 我们能否在保持计算效率的同时，实现在线性结构奖励下的上下文半-bandit学习的低遗憾？
• RQ2 当线性变换已知时，可实现的最优遗憾界是什么？其随动作数、序列长度、轮次和策略数的扩展关系如何？
• RQ3 我们如何将算法适配至线性变换未知的情形？可实现的遗憾界是什么？
• RQ4 在高维策略空间中，优化预言机在多大程度上可替代显式策略枚举？
• RQ5 在权重未知设置下，探索与估计之间的相互作用如何影响整体遗憾？

主要发现

• 当线性变换已知时，所提算法实现$\tilde{O}(\sqrt{KLT \ln N})$的遗憾界，其中$K$为动作数，$L$为序列长度，$T$为轮次数，$N$为策略数。
• 在未知变换情形下，算法实现$\tilde{O}(\|w\|_1(KT)^{3/4} \sqrt{\ln N})$的遗憾界，其中$\|w\|_1$为真实权重向量的$\ell_1$-范数。
• 通过依赖优化预言机，算法保持计算效率，避免显式枚举所有策略。
• 遗憾界在$T$、$K$和$N$上的依赖关系是紧致的，反映了未知设置下探索与利用之间的权衡。
• 利用线性回归进行初始权重估计，可实现从探索到利用的有效过渡，并控制遗憾的增长。
• 理论分析证实，该算法在问题规模增大时仍能良好扩展，适用于个性化搜索和网络路由等实际应用场景。