[論文レビュー] Bayesian Learning in Episodic Zero-Sum Games

Chang-Wei Yueh, Andy Zhao+2 more|arXiv (Cornell University)|Mar 21, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

要約: この論文は、未知の遷移と報酬を持つ二人プレイヤーの有限-horizon ゼロサムマルコフゲームにおけるベイズ後方サンプリング（トンプソン採用）を分析し、学習エージェントのサブ線形後悔境界を証明し、グリッドワールド実験で検証する。

ABSTRACT

We study Bayesian learning in episodic, finite-horizon zero-sum Markov games with unknown transition and reward models. We investigate a posterior algorithm in which each player maintains a Bayesian posterior over the game model, independently samples a game model at the beginning of each episode, and computes an equilibrium policy for the sampled model. We analyze two settings: (i) Both players use the posterior sampling algorithm, and (ii) Only one player uses posterior sampling while the opponent follows an arbitrary learning algorithm. In each setting, we provide guarantees on the expected regret of the posterior sampling agent. Our notion of regret compares the expected total reward of the learning agent against the expected total reward under equilibrium policies of the true game. Our main theoretical result is an expected regret bound for the posterior sampling agent of order $O(HS\sqrt{ABHK\log(SABHK)})$ where $K$ is the number of episodes, $H$ is the episode length, $S$ is the number of states, and $A,B$ are the action space sizes of the two players. Experiments in a grid-world predator--prey domain illustrate the sublinear regret scaling and show that posterior sampling competes favorably with a fictitious-play baseline.

研究の動機と目的

• 未知のダイナミクスと報酬を持つ二人プレイヤーのゼロサムマルコフゲームにおける学習の動機付け。
• プレイヤーがベイズ後方からサンプルを取り、平衡ポリシーをプレイする後方サンプリングアルゴリズムの開発。
• 後方サンプリングに対する理論的な後悔保証を、双方サンプリング設定と単一サンプル設定の双方で提供。
• 後方サンプリングと他の学習戦略を対比し、サブ線形後悔の成長を評価。

提案手法

• 遷移と報酬モデルが未知の有限-horizon 二人プレイヤーゼロサムマルコフゲームとしてモデル化。
• 報酬がパラメトリックファミリから引かれ、遷移／報酬パラメータが結合事前分布を持つベイズ的枠組みを採用。
• 現在の後方からゲームモデルをサンプルし、平衡ポリシーを解く（DP(M)）ことで各エピソードを開始する後方サンプリングアルゴリズムを提案。
• 二つの設定で後方サンプリングエージェントの後悔境界を導出：両プレイヤーがサンプルする場合と、一方のプレイヤーがサンプルし相手が任意の学習ルールを用いる場合。
• 後方サンプリングと平衡計算および経験的推定値の集中化との関連を中間補題として確立。

Figure 1 : The transition model used in experiments. The red arrows and numbers show the transition probabilities when player 1 at (2,2) chooses to move upward. The blue arrows and numbers show the transition probabilities when player 2 at (3,3) chooses to move right.

実験結果

リサーチクエスチョン

• RQ1 未知のダイナミクスを持つエピソード型ゼロサムマルコフゲームにおいて、後方サンプリングはエージェントに対してサブ線形の後悔を保証できるか。
• RQ2 両プレイヤーが後方サンプリングを用いる場合と、片方のみが後方サンプリングを用いる場合の後悔境界はどうなるか。
• RQ3 有限-horizon設定でベイズ後方更新の統合は平衡計算とどのように相互作用するか。
• RQ4 学習性能は虚構的プレイ（fictitious play）ベースラインおよび真の平衡戦略と比較してどうなるか。

主な発見

• 主な理論的結果は、期待後悔が O(HS√(ABHK log(SABHK))) のオーダーであることを示す。
• 両プレイヤーが後方サンプリングを用いる場合、または最大化子のみが任意の対戦相手に対して後方サンプリングを用いる場合にはサブ線形の後悔が確立する。
• グリッドワールドの捕食者–被食者ドメインの実験は、サブ線形の後悔スケーリングと虚偽的プレイベースラインに対する競争力のある性能を示す。
• エピソードが成長するにつれて後方サンプリングは平衡性能に近づき、平均的な後悔はゼロへ向かう。

Figure 2 : Player 1’s Regret when player 1 uses posterior sampling and player 2 uses (i) true equilibrium strategy ( – eq ), (ii) player 2 uses fictitious play ( – fp ), and (iii) player 2 uses posterior sampling ( – ps ). The solid line shows the average of 50 runs and the bar is 95% confidence int