[論文レビュー] Stochastic matrix games with bandit feedback.

Brendan O’Donoghue, Tor Lattimore+1 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Bandit Algorithms Research参考文献 29被引用数 4

ひとこと要約

本稿は、報酬行列が未知で、ノイズのある報酬しか観測できないというバンドイットフィードバックを受ける確率的行列ゲームにおけるUCBおよびK学習の変種を導入し、分析している。敵対的相手に対しても成り立つレグレットバウンドを確立しており、標準的なバンドイット手法やトムソンサンプリングよりも著しく優れていることが示されている。トムソンサンプリングはこの設定では崩壊的に失敗する。

ABSTRACT

We study a version of the classical zero-sum matrix game with unknown payoff matrix and bandit feedback, where the players only observe each others actions and a noisy payoff. This generalizes the usual matrix game, where the payoff matrix is known to the players. Despite numerous applications, this problem has received relatively little attention. Although adversarial bandit algorithms achieve low regret, they do not exploit the matrix structure and perform poorly relative to the new algorithms. The main contributions are regret analyses of variants of UCB and K-learning that hold for any opponent, e.g., even when the opponent adversarially plays the best response to the learner's mixed strategy. Along the way, we show that Thompson fails catastrophically in this setting and provide empirical comparison to existing algorithms.

研究の動機と目的

• 報酬行列が未知で、バンドイットフィードバック（ノイズのある報酬と行動のみ観測）が得られる零和行列ゲームに関する研究の空白に対処すること。
• 標準的な敵対的バンドイット手法とは異なり、ゲームの行列構造を活用する学習アルゴリズムを開発すること。
• 任意の相手（学習者の戦略に対して最適応答を行う相手を含む）に対して成り立つ理論的レグレットバウンドを提供すること。
• この設定においてトムソンサンプリングがなぜ崩壊的に失敗するかを示し、既存のアルゴリズムと性能を実験的に比較すること。

提案手法

• バンドイットフィードバック下での行列ゲームに特化したUCBおよびK学習の変種を提案。報酬推定と信頼区間を組み込み、報酬行列の推定値を更新する。
• 学習者が報酬行列の推定値を維持し、観測されたノイズのある報酬に基づいてそれを更新する行列構造に基づく学習フレームワークを採用。
• 信頼区間技術を用いて探索と活用のバランスを保ち、敵対的相手の行動に対しても低レグレットを確保する。
• 任意の相手戦略（最悪の場合の最適応答を含む）に対して一様に成り立つ、革新的なレグレット解析を導入。
• 提案されたアルゴリズムをトムソンサンプリングおよび標準的なバンドイットアルゴリズムと比較するための実験的評価を実施。

実験結果

リサーチクエスチョン

• RQ1 UCBおよびK学習の変種は、報酬行列が未知でバンドイットフィードバックが得られる行列ゲームにおいて、低レグレットを達成できるか？
• RQ2 これらのアルゴリズムは、学習者の混合戦略に対して最適応答を行う敵対的相手に対し、どのように性能を発揮するか？
• RQ3 なぜトムソンサンプリングはこの行列ゲーム設定において崩壊的に失敗するのか？
• RQ4 構造に配慮したアルゴリズムは、この文脈において、一般向けの敵対的バンドイットアルゴリズムをどれほど上回るのか？

主な発見

• 提案されたUCBおよびK学習の変種は、相手が学習者の混合戦略に対して最適応答を行う場合でも、非線形レグレットを達成している。
• これらのアルゴリズムは、ゲームの背後にある行列構造を活用することで、標準的な敵対的バンドイットアルゴリズムを著しく上回っている。
• トムソンサンプリングは、この設定において崩壊的に失敗し、最悪ケースでは無限大のレグレットに至ることが示された。
• 実験結果により、提案手法が既存のアルゴリズムよりも低いレグレットとより良い収束性を達成することが確認された。