[論文レビュー] Bandit learning in concave $N$-person games

Mario Bravo, David S. Leslie+1 more|arXiv (Cornell University)|Oct 3, 2018

Advanced Bandit Algorithms Research被引用数 28

ひとこと要約

本稿は、勾配情報が得られないスカラーリワードのみを受信するバンドイットフィードバックの下で、ミラー降下とノーレグレット学習を用いて、凹型 $N$-人ゲームにおいてナッシュ均衡への確実収束を確立する。単調性条件のもとで、アルゴリズムは確率1で均衡に収束し、収束速度は $\mathcal{O}(1/n^{1/3})$ となる。これは、単一エージェントのバンドイット最適化における既知の最良レートにほぼ一致する。

ABSTRACT

This paper examines the long-run behavior of learning with bandit feedback in non-cooperative concave games. The bandit framework accounts for extremely low-information environments where the agents may not even know they are playing a game; as such, the agents' most sensible choice in this setting would be to employ a no-regret learning algorithm. In general, this does not mean that the players' behavior stabilizes in the long run: no-regret learning may lead to cycles, even with perfect gradient information. However, if a standard monotonicity condition is satisfied, our analysis shows that no-regret learning based on mirror descent with bandit feedback converges to Nash equilibrium with probability $1$. We also derive an upper bound for the convergence rate of the process that nearly matches the best attainable rate for single-agent bandit stochastic optimization.

研究の動機と目的

• バンドイットフィードバック（勾配情報なし、スカラーリワードのみ）の下で、非協力的凹型ゲームにおけるノーレグレット学習の長期的挙動を分析すること。
• 限られた情報と巡回的挙動の可能性がある中で、ノーレグレット学習がナッシュ均衡への収束をもたらすかどうかを特定すること。
• ミラー降下とバンドイットフィードバックを組み合わせた手法が、凹型ゲームにおいてナッシュ均衡への確実収束を保証する条件を確立すること。
• バンドイットフィードバック下での学習プロセスの収束レートの上限を導出し、単一エージェント設定における最良レートと比較すること。

提案手法

• エージェントが2点の確率的近似（SPSA）スキームを用いて勾配を推定するバンドイットフィードバックを用いたミラー降下を採用する。
• 連続時間ダイナミクスからの収束結果を離散的学習プロセスに翻訳するため、漸近的擬似軌道（APT）フレームワークを用いる。
• Bregman散発に基づく解析を用い、ナッシュ均衡からの距離を追跡する。$D_n = \frac{1}{2}\|X_n - x^*\|^2$ をポテンシャル関数として用いる。
• 均衡への収束を保証するため、ゲームの報酬勾配に $\beta$-強単調性条件を課す。
• 期待Bregman散発の再帰的不等式を導出：$\bar{D}_{n+1} \leq (1 - \beta\gamma_n)\bar{D}_n + B\gamma_n\delta_n + \frac{V^2}{2K}\frac{\gamma_n^2}{\delta_n^2}$。この不等式を用いて収束速度を上限で評価する。
• ステップサイズスケジュール $\gamma_n = \gamma / n^p$ とバイアス・バリアンス制御 $\delta_n = \delta / n^q$ を導入し、$p$ と $q$ を最適化してバイアスとバリアンスのトレードオフを調整する。

実験結果

リサーチクエスチョン

• RQ1 バンドイットフィードバックのもとで、凹型 $N$-人ゲームにおけるノーレグレット学習がナッシュ均衡に収束する条件は何か？
• RQ2 勾配情報が完全に欠落している状況でも、ミラー降下とバンドイットフィードバックは均衡への収束を達成できるか？
• RQ3 このような学習プロセスが達成可能な最良の収束速度は何か？ また、単一エージェントのバンドイット最適化における最良レートと比較するとどうなるか？
• RQ4 ゲーム構造に単調性が存在する場合、限られたフィードバックのもとでノーレグレット学習によるプレーの安定化が保証されるか？
• RQ5 標準的なステップサイズスケジュールとSPSA勾配推定を用いた場合、$\mathcal{O}(1/n^{1/3})$ の収束速度を超える改善は可能か？

主な発見

• $\beta$-強単調性条件のもとで、バンドイットフィードバックを用いたミラー降下は、確率1でナッシュ均衡に収束する。
• ステップサイズスケジュール $\gamma_n = \gamma / n$ とバイアス制御 $\delta_n = \delta / n^{1/3}$ を用いる場合、期待Bregman散発の収束速度は $\mathcal{O}(1/n^{1/3})$ である。
• オракルケース（完全な勾配情報あり）では収束速度が $\mathcal{O}(1/n}$ に改善され、これは単一エージェントのバンドイット最適化における既知の最良レートと一致する。
• 標準的なSPSA推定のもとでは、ステップサイズの指数 $p$ を調整しても、$\mathcal{O}(1/n^{1/3})$ のレートは向上しない。バイアス・バリアンスのトレードオフがその上限を決定する。
• 解析により、非単調ゲームでは一般的な巡回的・カオス的挙動が避けられなくなるが、単調性仮定のもとでは、バンドイットフィードバックが存在してもそのような挙動は回避可能であることが示された。
• 与えられた条件下で、実際の行動列と時間平均プレーの両方において収束結果が成り立つ。