[論文レビュー] Gradient-free Online Learning in Games with Delayed Rewards

Amélie Héliou, Panayotis Mertikopoulos+1 more|arXiv (Cornell University)|Jun 19, 2020

Advanced Bandit Algorithms Research参考文献 38被引用数 6

ひとこと要約

本稿では、連続的行動空間と非有界な遅延報酬を伴う多人数ゲームにおける無正則学習方策として、遅延フィードバックを伴う勾配フリー・オンライン学習（GOLD）を提案する。SPSAに基づくゼロ次勾配推定と非同期フィードバックのための優先度キューを組み合わせることで、任意の遅延に対してもナッシュ均衡への確実収束を保証する。これは、フィードバックが遅れており順不同であるオンライン広告やレコメンデーションシステムにおける主要な課題を解決する。

ABSTRACT

Motivated by applications to online advertising and recommender systems, we consider a game-theoretic model with delayed rewards and asynchronous, payoff-based feedback. In contrast to previous work on delayed multi-armed bandits, we focus on multi-player games with continuous action spaces, and we examine the long-run behavior of strategic agents that follow a no-regret learning policy (but are otherwise oblivious to the game being played, the objectives of their opponents, etc.). To account for the lack of a consistent stream of information (for instance, rewards can arrive out of order, with an a priori unbounded delay, etc.), we introduce a gradient-free learning policy where payoff information is placed in a priority queue as it arrives. In this general context, we derive new bounds for the agents' regret; furthermore, under a standard diagonal concavity assumption, we show that the induced sequence of play converges to Nash equilibrium with probability $1$, even if the delay between choosing an action and receiving the corresponding reward is unbounded.

研究の動機と目的

• 連続的行動空間を伴う多人数ゲームにおける、遅延的かつ非同期的フィードバックの課題に対処すること。
• 行動と報酬の間の非有界な遅延が存在しても、無正則性を達成する学習方策を設計すること。
• 相手の戦略や報酬関数の知識なしに、最小限の仮定のもとでナッシュ均衡への収束を保証すること。
• 順不同または遅延するフィードバックによって生じる情報の不均衡を、新規の優先度キュー機構によって処理すること。
• 任意で非有界な遅延が存在する状況下での、正則性と収束に関する理論的保証を確立すること。

提案手法

• 勾配計算をゼロ次勾配推定器（SPSA）に置き換えることで、オンライン勾配降下に基づく勾配フリーのオンライン学習方策（GOLD）を導入する。
• 遅延フィードバックを格納・管理するための優先度キューを採用し、先入れ先出し（FIFO）の方法で情報をデキューすることで、情報過多を回避する。
• 摂動に基づく勾配推定を用いた確率的近似フレームワークを適用し、明示的な勾配アクセスなしに報酬関数の勾配を推定する。
• 対角的凹性を活用して、正則性と収束を追跡するためのリャプノフ型解析を適用する。
• 探索と収束のバランスを取るために、時間に依存するステップサイズと摂動の大きさを実装する。
• マルティンゲール収束の議論を用いて、推定誤差とフィードバック遅延が均衡への収束を妨げないことを示す。

実験結果

リサーチクエスチョン

• RQ1 連続的行動と非有界な遅延報酬を伴う多人数ゲームに対して、無正則学習方策を設計することは可能か？
• RQ2 フィードバックが順不同または任意の遅延を伴って到着する場合でも、そのような方策がナッシュ均衡への収束を保証するか？
• RQ3 オンラインゲームにおける非同期的・遅延的・あるいは陳腐化したフィードバックに対して、勾配フリー学習をどのようにして頑健に保てるか？
• RQ4 この設定において、正則性と収束に関する理論的バインドをどのように確立できるか？
• RQ5 フィードバック構造に関する最小限の仮定のもとで、均衡への収束を確率1で保証できるか？

主な発見

• 提案されたGOLD方策は、非有界な遅延下でも無正則学習を達成し、正則性バインドが遅延分布とステップサイズ列に依存することを示した。
• 報酬関数に対して標準的な対角的凹性仮定が成り立つ場合、戦略の系列は確率1でナッシュ均衡に収束する。
• 行動と報酬の間の任意で非有界な遅延に対しても、収束が頑健である。これは、フィードバックが順不同に到着する場合にも同様に成り立つ。
• 優先度キュー機構により、陳腐化したフィードバックが制御されたFIFOの方法で処理され、古くなった情報の過剰使用や早期使用が防止される。
• 推定誤差がバイアスを持つSPSA手法を用いても、行動系列がナッシュ均衡に確実に収束することを示した。
• マルティンゲール収束とリャプノフ型の議論を用いて理論的保証を導出し、誤差項が時間とともに確実に消えることを示した。