[論文レビュー] Contextual Games: Multi-Agent Learning with Side Information

Pier Giuseppe Sessa, Ilija Bogunovic+2 more|arXiv (Cornell University)|Jul 13, 2021

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本稿では、プレイヤーが行動する前に状況依存の情報を観測する、繰り返し型のマルチエージェントゲームの新規クラス「文脈的ゲーム」を導入する。カーネルに基づく正則性仮定と、新規のオンラインアルゴリズム（c.GP-MW）を活用することで、非線形な文脈的リグレットを達成し、文脈的粗い協調均衡（c-CCE）および最適な福利厚生に収束することを示し、実世界の交通ルーティング実験においてベースラインを上回る性能を発揮する。

ABSTRACT

We formulate the novel class of contextual games, a type of repeated games driven by contextual information at each round. By means of kernel-based regularity assumptions, we model the correlation between different contexts and game outcomes and propose a novel online (meta) algorithm that exploits such correlations to minimize the contextual regret of individual players. We define game-theoretic notions of contextual Coarse Correlated Equilibria (c-CCE) and optimal contextual welfare for this new class of games and show that c-CCEs and optimal welfare can be approached whenever players' contextual regrets vanish. Finally, we empirically validate our results in a traffic routing experiment, where our algorithm leads to better performance and higher welfare compared to baselines that do not exploit the available contextual information or the correlations present in the game.

研究の動機と目的

• 天候やネットワーク容量といった文脈的要因の変化に伴いゲームのダイナミクスが変化する現実世界のマルチエージェントシステムをモデル化すること。
• 通常の繰り返しゲームが静的ゲーム構造を仮定するという限界を是正すること。これは実際の状況ではしばしば現実的ではない。
• 動的で文脈依存的な環境を対象とした、新たなゲーム理論的ベンチマークを定義すること——文脈的粗い協調均衡（c-CCE）と最適な文脈的福利厚生。
• 文脈と結果の相関関係を活用して、個々のプレイヤーの文脈的リグレットを最小化する分散型オンライン学習アルゴリズムの開発。
• 提案フレームワークの実世界的交通ルーティングシナリオにおける経験的妥当性を検証し、システム全体の効率性とパフォーマンスの向上を示すこと。

提案手法

• 各ラウンドが事前に観測可能な文脈（例：ネットワーク容量）に依存する、新規のゲームクラス「文脈的ゲーム」を提案する。
• パフォーマンスのベンチマークとして文脈的リグレットを導入し、最適な文脈依存ポリシー写像からの逸脱を測定する。
• 文脈とそれに対応するゲームの結果との類似性をモデル化するため、カーネルに基づく正則性仮定を採用し、より滑らかな報酬推定を可能にする。
• ガウス過程回帰と乗法的重み更新を組み合わせた、新規のオンラインアルゴリズム c.GP-MW を設計し、文脈の相関関係を活用する。
• 報酬の依存関係をモデル化するため、行動および集計状態特徴と文脈特徴を組み合わせた複合カーネル関数を用いる。
• 理論的リグレットバウンドを導出し、リグレットの成長が非線形であることを示し、文脈集合のサイズとサンプル複雑度パrameter γT に依存する。これは標準的な文脈的バンディットアルゴリズムを上回る。

実験結果

リサーチクエスチョン

• RQ1 繰り返しゲームにおいて、時間とともに変化する補助情報（文脈）を統合することで、マルチエージェント学習を改善できるか？
• RQ2 異なる文脈とゲーム結果の間の相関関係をどのようにモデル化し、それを活用してマルチエージェントシステムにおける個々のリグレットを低減できるか？
• RQ3 文脈的情報が存在する状況で、どのような新たなゲーム理論的均衡が出現するのか？ そして、それらは学習によって到達可能か？
• RQ4 分散型でオンラインのアルゴリズムは、非定常的で文脈依存的なゲームにおいて、低い文脈的リグレットを達成するとともに、効率的な結果への収束を維持できるか？
• RQ5 提案されたアルゴリズムは、文脈を無視するか、その相関関係を活用しないベースラインと比較して、実世界の応用においてどのように性能を発揮するか？

主な発見

• 提案された c.GP-MW アルゴリズムは、O(√(T|Z|log K) + γT√T) の文脈的リグレットバウンドを達成し、行動数 K に対して対数的に成長する。これは標準的なバンディットアルゴリズムに比べ顕著な改善を示す。
• 文脈が確率的かつ非公開である場合、アルゴリズムは O(√(T log K) + γT√T) の擬似リグレットバウンドを達成し、既存手法が事前分布を既知とすることや、非公開報酬を観測することを前提としているのに対し、優れている。
• 交通ルーティング実験では、c.GP-MW は No-Learning、GP-MW、RobustLinExp3 のベースラインと比較して、平均移動時間が低く、ネットワーク混雑度も低下した。
• c.GP-MW のルール (5) を用いた戦略がルール (4) を上回った。これは、文脈情報の確率的かつ局所的性質に適応しているためと考えられる。
• 理論的分析により、文脈的リグレットが消えることは、文脈的粗い協調均衡（c-CCE）および最適な文脈的福利厚生への収束を示唆する。
• 経験的結果から、個々の文脈的リグレットの最小化が、システム全体の福利厚生の向上に繋がることを確認した。これはルーティングゲームの滑らかさ特性と整合的である。