[论文解读] Gradient-free Online Learning in Games with Delayed Rewards

Amélie Héliou, Panayotis Mertikopoulos+1 more|arXiv (Cornell University)|Jun 19, 2020

Advanced Bandit Algorithms Research参考文献 38被引用 6

一句话总结

本文提出了一种无梯度在线学习方法——延迟反馈无 regret学习（GOLD），适用于具有连续动作空间和无界延迟奖励的多玩家博弈。通过结合基于SPSA的零阶梯度估计与优先队列以处理异步反馈，GOLD 即使在任意延迟下也能确保以概率1收敛至纳什均衡，从而解决了在线广告和推荐系统中反馈延迟且无序的关键挑战。

ABSTRACT

Motivated by applications to online advertising and recommender systems, we consider a game-theoretic model with delayed rewards and asynchronous, payoff-based feedback. In contrast to previous work on delayed multi-armed bandits, we focus on multi-player games with continuous action spaces, and we examine the long-run behavior of strategic agents that follow a no-regret learning policy (but are otherwise oblivious to the game being played, the objectives of their opponents, etc.). To account for the lack of a consistent stream of information (for instance, rewards can arrive out of order, with an a priori unbounded delay, etc.), we introduce a gradient-free learning policy where payoff information is placed in a priority queue as it arrives. In this general context, we derive new bounds for the agents' regret; furthermore, under a standard diagonal concavity assumption, we show that the induced sequence of play converges to Nash equilibrium with probability $1$, even if the delay between choosing an action and receiving the corresponding reward is unbounded.

研究动机与目标

• 解决多玩家博弈中具有连续动作空间的在线学习所面临的延迟和异步反馈挑战。
• 设计一种即使在动作与奖励之间存在无界延迟的情况下也能实现无 regret 的学习策略。
• 在最小假设条件下确保收敛至纳什均衡，包括无需了解对手策略或收益函数。
• 通过一种新颖的优先队列机制，处理因反馈无序或延迟导致的信息不平衡问题。
• 在存在任意无界延迟的情况下，建立关于 regret 和收敛性的理论保证。

提出的方法

• 提出一种基于在线梯度下降的无梯度在线学习策略（GOLD），以零阶 SPSA 估计器替代梯度计算。
• 采用优先队列存储并管理延迟反馈，以先进先出（FIFO）方式出队，避免信息过载。
• 使用基于扰动的梯度估计的随机逼近框架，无需显式访问梯度即可估计收益函数梯度。
• 应用类似李雅普诺夫的分析方法，通过收益函数的对角凹性来界定 regret 并追踪收敛性。
• 采用时变步长和扰动幅度，以平衡探索与收敛。
• 利用鞅收敛论证表明，估计误差和反馈延迟不会阻碍收敛至均衡。

实验结果

研究问题

• RQ1 能否为具有连续动作和无界延迟奖励的多玩家博弈设计一种无 regret 学习策略？
• RQ2 该策略是否即使在反馈无序或存在任意延迟时，也能确保收敛至纳什均衡？
• RQ3 如何使无梯度学习在在线博弈中对异步、延迟且可能过时的反馈具有鲁棒性？
• RQ4 在此设置下，关于 regret 和收敛性可以建立哪些理论边界？
• RQ5 在对反馈结构的假设最小化条件下，能否以概率1保证收敛至均衡？

主要发现

• 所提出的 GOLD 策略在无界延迟下实现了无 regret 学习，其 regret 边界依赖于延迟分布和步长序列。
• 在收益函数满足标准对角凹性假设下，策略序列以概率1收敛至纳什均衡。
• 该收敛对动作与奖励之间的任意无界延迟具有鲁棒性，即使反馈无序到达也成立。
• 优先队列机制确保过时反馈以受控的 FIFO 方式处理，防止过早或过度使用过时信息。
• 分析表明，即使使用有偏 SPSA 方法估计梯度，动作序列仍能以概率1收敛至纳什均衡。
• 通过鞅收敛和李雅普诺夫风格论证，推导出理论保证，表明误差项几乎必然随时间趋于零。