[論文レビュー] Decentralized Online Learning for Noncooperative Games in Dynamic Environments

Min Meng, Xiuxian Li+3 more|arXiv (Cornell University)|May 13, 2021

Advanced Bandit Algorithms Research参考文献 33被引用数 18

ひとこと要約

本稿では、時間変動するコスト関数と共有制約を伴う非協力ゲームに対して、固定の通信グラフ上でミラー降下とプライマルデュアル更新を用いた分散型オンライン学習アルゴリズムを提案する。適切に減少するステップサイズを用いることで、動的環境における均衡探索を、グローバルな知識なしに、サブラインアクスな動的リグレットと制約違反の両方を達成する。

ABSTRACT

Decentralized online learning for seeking generalized Nash equilibrium (GNE) of noncooperative games in dynamic environments is studied in this paper. Each player aims at selfishly minimizing its own time-varying cost function subject to time-varying coupled constraints and local feasible set constraints. Only local cost functions and local constraints are available to individual players, who can receive their neighbors' information through a fixed and connected graph. In addition, players have no prior knowledge of cost functions and local constraint functions in the future time. In this setting, a novel distributed online learning algorithm for seeking GNE of the studied game is devised based on mirror descent and a primal-dual strategy. It is shown that the presented algorithm can achieve sublinearly bounded dynamic regrets and constraint violation by appropriately choosing decreasing stepsizes. Finally, the obtained theoretical result is corroborated by a numerical simulation.

研究の動機と目的

• 時間変動するコスト関数と結合制約を伴う非協力ゲームにおける一般化ナッシュ均衡（GNE）を求める課題に対処すること。
• プレイヤーが将来のコスト関数や制約関数の知識を持たない状況下で、ローカルなデータと隣接プレイヤーの情報のみに依存する分散型オンラインアルゴリズムを設計すること。
• 限られたローカル情報と時間変動する情報の下でも、動的環境においてGNEに収束することを保証すること。
• 新たな分散型オンライン学習フレームワークを用いて、動的リグレットと制約違反の理論的バインディングを確立すること。

提案手法

• ミラー降下を用いた意思決定更新と、時間変動する結合制約を扱うためのプライマルデュアル戦略を組み合わせた分散型オンラインアルゴリズム（アルゴリズム1）を設計する。
• プレイヤーは、固定で連結な通信グラフ上で、コンSENSUSに基づくメカニズムを用いて、ローカルコスト勾配と双対変数に基づき意思決定を更新する。
• 動的環境における探索と収束のバランスを図るために、プライマルおよびデュアル変数の両方のステップサイズを減少させる。
• ミラー降下ではBregmanダイバージェンスが用いられ、射影に基づく手法の一般化を実現し、制約および意思決定空間の設計における柔軟性を向上させる。
• 理論的分析では、リャプノフ関数と再帰的不等式を用いて、動的リグレットと制約違反のバインディングを導出する。
• プライマルデュアル更新構造により、制約違反が時間とともにサブラインアクスに増加することを保証する。

実験結果

リサーチクエスチョン

• RQ1 分散型オンライン学習アルゴリズムは、時間変動するコスト関数と共有制約を伴う非協力ゲームにおいて、サブラインアクスな動的リグレットを達成できるか？
• RQ2 ローカル情報と隣接プレイヤーとの通信のみを用いて、プレイヤーはどのように一般化ナッシュ均衡に収束できるか？
• RQ3 ミラー降下は、動的ゲームにおいて射影に基づく手法と比較して、どのように柔軟性を向上させるか？
• RQ4 減少するステップサイズは、時間変動環境におけるリグレットと制約違反のトレードオフにどのように影響するか？
• RQ5 提案されたアルゴリズムは、将来のコスト関数や制約関数の知識がなくても、制約違反を有界に保てるか？

主な発見

• 適切に減少するステップサイズを用いることで、提案アルゴリズムはサブラインアクスな動的リグレットを達成し、リグレットの成長はO(T^{1/2})となる。
• 制約違反についてもサブラインアクスに増加し、ステップサイズを適切に減少させることで、O(T^{1/2})のバインディングが得られる。
• Bregmanダイバージェンスを用いたミラー降下の導入により、標準的な射影に基づく手法と比較して、アルゴリズムの柔軟性と一般化性能が向上する。
• 理論的分析により、将来関数の知識がなくても、動的リグレットと制約違反が時間とともに一様に有界であることが確認された。
• 数値シミュレーションにより理論的結果が検証され、時間変動するダイナミクス下でも一般化ナッシュ均衡への収束が示された。
• 分散型情報環境下でも性能を維持し、固定グラフ上でローカルコスト関数と隣接プレイヤーとの通信に依存する。