[论文解读] Meta-Learning Bandit Policies by Gradient Ascent

Branislav Kveton, Martin Mladenov+4 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Bandit Algorithms Research参考文献 81被引用 5

一句话总结

本文提出了一种元学习框架，用于在未知先验分布的采样问题实例上，通过可微策略的梯度上升来学习上下文无关与上下文相关的Bandit策略。通过使用策略梯度优化策略参数以最小化贝叶斯遗憾，该方法在非上下文和上下文Bandit设置中均表现出优异的实证性能，优于最先进基线方法，且无需显式假设先验分布。

ABSTRACT

Most bandit policies are designed to either minimize regret in any problem instance, making very few assumptions about the underlying environment, or in a Bayesian sense, assuming a prior distribution over environment parameters. The former are often too conservative in practical settings, while the latter require assumptions that are hard to verify in practice. We study bandit problems that fall between these two extremes, where the learning agent has access to sampled bandit instances from an unknown prior distribution $\mathcal{P}$ and aims to achieve high reward on average over the bandit instances drawn from $\mathcal{P}$. This setting is of a particular importance because it lays foundations for meta-learning of bandit policies and reflects more realistic assumptions in many practical domains. We propose the use of parameterized bandit policies that are differentiable and can be optimized using policy gradients. This provides a broadly applicable framework that is easy to implement. We derive reward gradients that reflect the structure of bandit problems and policies, for both non-contextual and contextual settings, and propose a number of interesting policies that are both differentiable and have low regret. Our algorithmic and theoretical contributions are supported by extensive experiments that show the importance of baseline subtraction, learned biases, and the practicality of our approach on a range problems.

研究动机与目标

• 弥合经典Bandit策略（保守、关注最坏情况）与贝叶斯Bandit（需已知先验、计算成本高）之间的差距。
• 实现在未知先验分布下，基于问题实例分布进行数据驱动的Bandit策略学习，无需假设已知先验。
• 提出一种通用、系统且实用的元学习Bandit策略方法，采用策略梯度，避免经验性调参。
• 设计可微Bandit策略，具有可证明的有效性，并可通过基于梯度的方法端到端优化。
• 在多种Bandit问题结构（包括多臂和线性Bandit）中，展示该方法的实用性和有效性。

提出的方法

• 提出一种元学习框架，其中Bandit策略参数化，并在来自未知先验分布的采样实例上使用策略梯度方法进行优化。
• 推导出分析上可处理的奖励梯度，反映Bandit问题的结构，从而实现从轨迹中高效估计梯度。
• 提出新颖的可微Bandit策略，如SoftElim和基于RNN的策略，兼具表达能力与基于梯度优化的适应性。
• 使用基线减法和学习偏置来降低梯度方差，提升策略梯度优化的训练稳定性。
• 通过随机梯度上升训练策略，以最小化贝叶斯遗憾，直接优化问题实例分布上的平均性能。
• 支持非上下文和上下文Bandit设置，将框架扩展至结构化动作空间和上下文相关的奖励函数。

实验结果

研究问题

• RQ1 在先验分布未知的元学习设置中，策略梯度方法能否有效用于学习Bandit策略？
• RQ2 在保留策略与环境结构特性的前提下，如何高效估计Bandit问题中的奖励梯度？
• RQ3 在实践中，可微Bandit策略（如SoftElim和基于RNN的策略）是否能实现比最先进基线更低的贝叶斯遗憾？
• RQ4 基线减法和学习偏置在稳定和提升Bandit策略策略梯度训练中起到什么作用？
• RQ5 所提出的框架能否在不假设先验的前提下，泛化至不同Bandit问题结构（包括上下文和线性Bandit）？

主要发现

• 所提出的方法（命名为GradBand）在非上下文和上下文Bandit设置中显著优于最先进基线，通过在采样实例上直接最小化贝叶斯遗憾实现。
• 实证结果表明，基线减法和学习偏置对于训练稳定性和策略性能提升至关重要，能有效降低梯度方差并加速收敛。
• 可微的SoftElim策略实现了更紧的遗憾界，常数项为O(1)，相比先前工作中的O(KΔ⁻⁴)常数项，表明理论与实际性能的显著提升。
• 基于RNN的策略在多样化问题实例中表现出强大的泛化能力，体现了该框架在复杂、序列决策结构上的灵活性与可扩展性。
• 该方法的泛化能力远超标准多臂Bandit，具有扩展至组合半Bandit、部分监控和非线性广义线性Bandit的潜力。
• 实证结果表明，在许多情况下，贝叶斯奖励在策略参数上可能是拟凹的，支持梯度上升收敛至近似最优策略。