[论文解读] Asymptotic Behavior of Minimal-Exploration Allocation Policies: Almost Sure, Arbitrarily Slow Growing Regret

Wesley Cowan, Michael N. Katehakis|arXiv (Cornell University)|May 12, 2015

Advanced Bandit Algorithms Research参考文献 9被引用 7

一句话总结

本文提出了两种新颖的极小探索分配策略——g-Forcing 和 g-Inflated Sample Mean（g-ISM），在任意缓慢增长函数 g(n)（例如迭代对数）下，实现了几乎必然的伪遗憾增长阶为 O(g(n))。核心贡献在于证明了这些策略在仅假设有限均值和方差的前提下，无论底层的 bandit 分布为何，均可实现任意缓慢的、几乎必然收敛的遗憾。

ABSTRACT

The purpose of this paper is to provide further understanding into the structure of the sequential allocation ("stochastic multi-armed bandit", or MAB) problem by establishing probability one finite horizon bounds and convergence rates for the sample (or "pseudo") regret associated with two simple classes of allocation policies $π$. For any slowly increasing function $g$, subject to mild regularity constraints, we construct two policies (the $g$-Forcing, and the $g$-Inflated Sample Mean) that achieve a measure of regret of order $ O(g(n))$ almost surely as $n o \infty$, bound from above and below. Additionally, almost sure upper and lower bounds on the remainder term are established. In the constructions herein, the function $g$ effectively controls the "exploration" of the classical "exploration/exploitation" tradeoff.

研究动机与目标

• 建立随机多臂 bandit 问题中顺序分配策略的几乎必然、样本路径有界伪遗憾。
• 构造在任意底层 bandit 分布下均实现任意缓慢、几乎必然增长遗憾率的策略。
• 证明探索-利用权衡可通过用户定义的缓慢增长函数 g(n) 控制，该函数决定遗憾增长速率。
• 表明结果在最小分布假设下依然成立——仅需有限均值和方差，核心工具为大数定律（SLLN）与迭代对数定律（LIL）。
• 放宽 bandit 奖励的 i.i.d. 假设，证明结果可推广至满足 SLLN 和 LIL 的更一般随机过程。

提出的方法

• 提出两类策略：g-Forcing 和 g-Inflated Sample Mean（g-ISM），其中函数 g(n) 通过设定次优臂的目标采样次数来控制探索。
• 利用强大数定律（SLLN）确保样本均值几乎必然收敛到真实均值，利用迭代对数定律（LIL）控制波动项。
• 将伪遗憾定义为 R̃π(n) = ∑ΔiTπi(n)，其中 Δi 为与最优臂的差距，并证明两类策略均满足 R̃π(n) = Cπg(n) + o(g(n)) 几乎必然。
• 建立余项的几乎必然上下界，表明 g-Forcing 的波动在常数范围内，而 g-ISM 的波动为 O(√(g(n)lnln g(n)))。
• 证明 g-Forcing 大约对所有次优臂采样 g(n) 次，而 g-ISM 按 1/Δi 比例分配采样，更具 meritocracy 特性。
• 证明只要每条臂的奖励满足 SLLN 和 LIL，结果对 i.i.d. 假设的放宽具有鲁棒性。

实验结果

研究问题

• RQ1 我们能否构造出在几乎必然意义下，遗憾增长慢于任意给定缓慢增长函数 g(n) 的分配策略？
• RQ2 如何最优地平衡探索与利用，以确保任意缓慢、几乎必然的遗憾增长？
• RQ3 g-Forcing 与 g-ISM 策略之间的结构性差异如何影响其遗憾行为与采样分布？
• RQ4 在不破坏遗憾界的前提下，bandit 奖励的 i.i.d. 假设能在多大程度上放宽？
• RQ5 在遗憾分解中，余项的几乎必然界是什么？两类策略之间的差异如何？

主要发现

• 对于满足温和正则性条件的任意缓慢增长函数 g(n)，存在 g-良好策略，使得伪遗憾 R̃π(n) 几乎必然地以 O(g(n)) 的阶增长。
• g-Forcing 策略确保伪遗憾在 SΔg(n) 附近波动，波动范围被常数 SΔ（依赖于 bandit 间隙）所限制。
• g-ISM 策略表现出更大的波动范围，阶为 O(√(g(n)lnln g(n)))，但其采样策略更具 meritocracy 特性，对差距更大的臂分配更少样本。
• g-Forcing 策略对所有次优臂大约采样 g(n) 次，与臂的质量无关，因此在探索上更具民主性。
• g-ISM 策略对次优臂大约采样 g(n)/Δi 次，反映了其对遗憾的预期贡献，更倾向于接近最优的臂。
• 结果在最小假设下成立：仅需有限均值和方差，且只要每条臂的奖励满足 SLLN 和 LIL，i.i.d. 结构可被放宽。