[论文解读] Exploiting the Natural Exploration In Contextual Bandits.

Hamsa Bastani, Mohsen Bayati+1 more|arXiv (Cornell University)|Apr 28, 2017

Advanced Bandit Algorithms Research被引用 10

一句话总结

本文提出 Greedy-First，一种新颖的上下文Bandit算法，利用随上下文变化产生的自然探索，实现渐近最优性，而无需显式探索。该文证明了在一般上下文分布下，两臂设置中的贪婪策略可达到率最优，并在模拟中表现出优于Thompson采样、UCB和ε-贪婪算法的性能。

ABSTRACT

The contextual bandit literature has traditionally focused on algorithms that address the exploration-exploitation trade-off. In particular, greedy policies that exploit current estimates without any exploration may be sub-optimal in general. However, exploration-free greedy policies are desirable in many practical settings where exploration may be prohibitively costly or unethical (e.g. clinical trials). We prove that, for a general class of context distributions, the greedy policy benefits from a natural exploration obtained from the varying contexts and becomes asymptotically rate-optimal for the two-armed contextual bandit. Through simulations, we also demonstrate that these results generalize to more than two arms if the dimension of contexts is large enough. Motivated by these results, we introduce Greedy-First, a new algorithm that uses only observed contexts and rewards to determine whether to follow a greedy policy or to explore. We prove that this algorithm is asymptotically optimal without any additional assumptions on the distribution of contexts or the number of arms. Extensive simulations demonstrate that Greedy-First successfully reduces experimentation and outperforms existing (exploration-based) contextual bandit algorithms such as Thompson sampling, UCB, or $\epsilon$-greedy.

研究动机与目标

• 为解决临床试验等现实应用中因探索成本和伦理约束导致显式探索不可行的问题。
• 探究贪婪策略是否可通过上下文变化引发的自然探索实现渐近最优性。
• 设计一种实用算法，仅基于观测到的上下文和奖励，动态决定是选择贪婪动作还是进行探索。
• 在不假设上下文分布或臂的数量的前提下，证明所提算法的渐近最优性。

提出的方法

• 该算法利用观测到的上下文和奖励，基于次优性的统计证据，判断是否遵循贪婪策略或进行探索。
• 它利用上下文的自然变化来隐式诱导探索，从而无需依赖ε-贪婪或Thompson采样等显式探索机制。
• 理论分析证明，在一般上下文分布下，两臂上下文Bandit中的贪婪策略可实现渐近率最优。
• Greedy-First 在不假设上下文分布或臂的数量的前提下，被证明具有渐近最优性，仅依赖于观测数据。
• 该方法基于对当前策略性能的置信度，动态在利用与探索之间切换。
• 该算法旨在最小化实验次数，同时保持最优的遗憾率。

实验结果

研究问题

• RQ1 当自然探索由上下文变化引发时，贪婪策略是否能在上下文Bandit中实现渐近最优性？
• RQ2 所提出的Greedy-First算法在实践中是否优于Thompson采样、UCB和ε-贪婪等基于探索的成熟算法？
• RQ3 在何种条件下，自然上下文变化能提供足够的探索以实现渐近最优性？
• RQ4 Greedy-First 是否能在不假设上下文分布或臂的数量的前提下保持渐近最优性？
• RQ5 该算法如何仅基于观测数据平衡利用与探索？

主要发现

• 由于上下文变化带来的自然探索，贪婪策略在一般上下文分布下，可在两臂上下文Bandit中实现渐近率最优。
• 当上下文维度足够大时，模拟结果表明该结论可推广至多于两臂的情况。
• Greedy-First 相较于Thompson采样、UCB和ε-贪婪等基于探索的算法，成功减少了实验次数。
• Greedy-First 在不增加对上下文分布或臂数量的假设下，实现了渐近最优性。
• 大量模拟结果证实，Greedy-First 在累积遗憾和样本效率方面优于现有上下文Bandit算法。
• 该算法通过利用观测数据动态决定利用与探索，展现出强劲的实证性能。