[论文解读] Asymptotically Optimal Information-Directed Sampling

Johannes Kirschner, Tor Lattimore+2 more|arXiv (Cornell University)|Nov 11, 2020

Advanced Bandit Algorithms Research参考文献 26被引用 10

一句话总结

该论文通过使用渐近下界拉格朗日函数导出的代理信息增益，重新表述信息增益，提出了一种渐近最优的信息导向采样（IDS）算法，用于随机线性Bandits问题。该方法对代理函数执行原始-对偶更新，实现了渐近最优性与近似极小极大有限时间 regret，实验结果表明其性能与UCB和贝叶斯方法相当或更优。

ABSTRACT

We introduce a simple and efficient algorithm for stochastic linear bandits with finitely many actions that is asymptotically optimal and (nearly) worst-case optimal in finite time. The approach is based on the frequentist information-directed sampling (IDS) framework, with a surrogate for the information gain that is informed by the optimization problem that defines the asymptotic lower bound. Our analysis sheds light on how IDS balances the trade-off between regret and information and uncovers a surprising connection between the recently proposed primal-dual methods and the IDS algorithm. We demonstrate empirically that IDS is competitive with UCB in finite-time, and can be significantly better in the asymptotic regime.

研究动机与目标

• 开发一种频派IDS算法，使其在随机线性Bandits问题中既具有渐近最优性，又在有限时间内近乎最坏情况最优。
• 阐明信息导向采样与近期Bandits优化中原始-对偶方法之间的联系。
• 提供一种简单高效的IDS变体，避免使用高概率界，仅依赖单一高概率浓度不等式。
• 证明：通过精心选择的信息增益代理，可实现最优遗憾行为，而无需依赖贝叶斯先验。
• 通过实验验证该方法在UCB和贝叶斯基线（包括Thompson采样和近似贝叶斯IDS）上的性能。

提出的方法

• 该算法使用从渐近遗憾下界拉格朗日函数导出的代理信息增益函数，替代贝叶斯IDS中使用的基于方差的信息增益。
• 它对下界的拉格朗日函数执行原始-对偶更新，有效平衡遗憾与信息增益，其方式与理论最优分配一致。
• 策略通过最小化期望遗憾与代理信息增益之间的权衡来选择动作，使用最优分配的线性近似来计算该权衡。
• 通过基于对偶变量的动态在线更新规则，避免在每轮中显式重新求解渐近优化问题。
• 采用简化的置信系数 βₜ = σ²(2log(t) + d log log t)，如先前工作所推荐，以确保鲁棒性并降低调参复杂度。
• 通过最小化估计最优动作与一个有信息量的替代动作之间的权衡，计算近似IDS分布，从而在保持性能的同时降低计算成本。

实验结果

研究问题

• RQ1 频派IDS算法是否能在不依赖贝叶斯先验的情况下，实现随机线性Bandits问题的渐近最优性？
• RQ2 信息增益代理的选择如何影响IDS在遗憾和计算效率方面的性能？
• RQ3 IDS与从渐近下界导出的原始-对偶方法之间存在何种关系？
• RQ4 一种简单高效的IDS变体是否能在有限时间与渐近区域均匹配或超越UCB和Thompson采样的性能？
• RQ5 该算法对调参参数（如βₜ和ηₛ）的敏感性如何？是否存在理论指导的设定可实现近似最优结果？

主要发现

• 所提出的IDS变体通过在源自渐近下界的代理拉格朗日函数上执行原始-对偶更新，实现了渐近最优性。
• 实验结果表明，该算法在渐近区域优于UCB，且在长时域下遗憾显著更低。
• 基于半空间或单元格近似的代理信息增益，其性能与精确的基于方差的增益几乎完全一致，验证了该近似的有效性。
• 调优置信系数βₜ能显著改善遗憾性能，而调优学习率ηₛ的影响微乎其微，支持采用ηₛ = 1/√βₛ作为鲁棒的默认设置。
• 尽管为频派方法，该算法性能与贝叶斯IDS相当，后者优于所有频派变体，包括最佳调优的IDS。
• 该频派IDS计算高效——仅比Thompson采样慢约五倍，使其在中等规模问题的实际部署中具有可行性。