[论文解读] Differentiable Meta-Learning in Contextual Bandits.

Branislav Kveton, Martin Mladenov+4 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Bandit Algorithms Research参考文献 31被引用 6

一句话总结

本文提出了一种用于上下文Bandit的可微分元学习方法，其中策略通过策略梯度在来自未知先验分布的采样实例上进行优化，以最大化平均奖励。该方法使用可微分的低遗憾上下文策略，并展示了基线减法和学习偏置在提升分类任务性能方面的有效性。

ABSTRACT

We study a contextual bandit setting where the learning agent has access to sampled bandit instances from an unknown prior distribution $\mathcal{P}$. The goal of the agent is to achieve high reward on average over the instances drawn from $\mathcal{P}$. This setting is of a particular importance because it formalizes the offline optimization of bandit policies, to perform well on average over anticipated bandit instances. The main idea in our work is to optimize differentiable bandit policies by policy gradients. We derive reward gradients that reflect the structure of our problem, and propose contextual policies that are parameterized in a differentiable way and have low regret. Our algorithmic and theoretical contributions are supported by extensive experiments that show the importance of baseline subtraction, learned biases, and the practicality of our approach on a range of classification tasks.

研究动机与目标

• 为了实现对在预期Bandit实例分布上具有良好泛化能力的Bandit策略的离线优化。
• 为了开发支持高效策略梯度优化的可微分上下文策略。
• 通过结构化、可学习的策略参数化方式，在上下文Bandit设置中减少遗憾。
• 研究基线减法对策略性能的影响。
• 在真实世界的分类任务中展示方法的实际适用性。

提出的方法

• 智能体在上下文Bandit设置中运行，可访问来自未知先验分布𝒫的采样实例。
• 设计可微分的上下文策略，以支持通过策略梯度方法进行端到端训练。
• 推导奖励梯度，以反映Bandit问题的底层结构并提升学习稳定性。
• 应用基线减法以降低策略梯度更新中的方差。
• 将学习偏置整合到策略网络中，以增强性能和泛化能力。
• 在一系列分类任务上评估该方法，以验证其实际效用和有效性。

实验结果

研究问题

• RQ1 可微分元学习在多大程度上能提升在上下文Bandit实例分布上的平均性能？
• RQ2 基线减法在此设置中在稳定和提升策略梯度优化方面起到什么作用？
• RQ3 学习偏置如何影响上下文Bandit策略的性能和泛化能力？
• RQ4 可微分的低遗憾策略在多大程度上能通过策略梯度实现有效训练？
• RQ5 所提出的方法在真实世界分类任务上的可扩展性和性能表现如何？

主要发现

• 基线减法在可微分元学习框架中显著提升了训练稳定性和最终策略性能。
• 学习偏置有助于在多样化Bandit实例中实现更好的泛化和更低的遗憾。
• 可微分的策略参数化方式支持通过策略梯度实现有效优化，达到低遗憾。
• 该方法在一系列分类任务中展现出实际效用和强大性能。
• 该方法成功优化了在未知先验分布的Bandit实例上实现平均性能的策略。
• 理论和实证结果证实，所推导的奖励梯度能有效捕捉问题结构。