[論文レビュー] Robust approachability and regret minimization in games with partial monitoring

Shie Mannor, Vianney Perchet+1 more|arXiv (Cornell University)|May 25, 2011

Advanced Bandit Algorithms Research参考文献 29被引用数 12

ひとこと要約

本稿は、報酬が明確なベクトルではなく集合として表現される部分監視ゲームにおけるオンライン学習のための新しい枠組み「ロバスト到達可能性」を導入する。この枠組みにより、明確な収束レートを伴う定数時間計算量のアルゴリズムを提供し、ブラックウェルの到達可能性理論を部分監視設定に拡張する。

ABSTRACT

Approachability has become a standard tool in analyzing earning algorithms in the adversarial online learning setup. We develop a variant of approachability for games where there is ambiguity in the obtained reward that belongs to a set, rather than being a single vector. Using this variant we tackle the problem of approachability in games with partial monitoring and develop simple and efficient algorithms (i.e., with constant per-step complexity) for this setup. We finally consider external regret and internal regret in repeated games with partial monitoring and derive regret-minimizing strategies based on approachability theory.

研究の動機と目的

• 報酬が直接観測されずノイズの多い信号から推定される部分監視の繰り返しゲームにおける学習の課題に対処する。
• 確率測度への持ち上げやグリッドの細分化に依存する従来の手法が計算コストが高く、指数的複雑性を示すという限界を克服する。
• 報酬が集合として表現される不確実性に対応できる、到達可能性理論の新規な変種「ロバスト到達可能性」を構築する。これにより、不確実性下でもベクトル値の結果を制御可能となる。
• 部分監視ゲームにおける到達可能性とレジレット最小化のための、構成的で効率的なアルゴリズムを提供し、1ステップあたりの計算量が定数となる。
• 外部的および内部的レジレット最小化の明確な収束レートを導出する。これらのレートはゲーム構造に依存せず、従来の結果と同等またはそれを上回る。

提案手法

• 意思決定者が単一のベクトルではなく、可能な報酬の集合を受け取るという、新たな到達可能性フレームワークを提案する。これにより、期待される結果に対するロバスト制御が可能となる。
• 幾何的条件に基づく、このロバスト設定下での到達可能な凸集合の特徴付けを行う。具体的には、ターゲット集合への収束を保証する方向が存在することを条件とする。
• 報酬が不確実であっても、平均報酬をターゲット集合へ誘導する投影に基づく更新則を用いる、単純で定数時間計算量のアルゴリズムを設計する。
• 意思決定者の混合戦略に関しては凹性、自然の戦略に関しては凸性を仮定することで、非線形報酬関数に対してもフレームワークを拡張する。これにより、より広範な適用性が得られる。
• 二段階線形信号構造（bi-piecewise linear signaling structures）を活用し、確率測度への持ち上げやグリッドの細分化を回避する効率的な戦略を設計する。
• ロバスト到達可能性フレームワークを応用し、平均報酬ベクトルの幾何的制御を用いて、外部的および内部的レジレット最小化の戦略を導出する。

実験結果

リサーチクエスチョン

• RQ1 報酬が明確なベクトルではなく集合として表現される状況において、ブラックウェルの到達可能性理論を拡張することは可能か？
• RQ2 部分監視ゲームにおける到達可能性のための、計算量が定数である効率的で高効率なアルゴリズムを設計することは可能か？ これにより、従来の持ち上げに基づく手法の指数的複雑性を回避できるか？
• RQ3 ロバスト到達可能性を用いて、部分監視ゲームにおける外部的および内部的レジレット最小化の明確な収束レートを導出できるか？
• RQ4 部分監視ゲームにおける信号の幾何的構造をどのように活用し、効率的なレジレット最小化戦略を設計できるか？
• RQ5 ルゴシら（2008）の最先端手法と同等のレートを達成しつつも、より単純で直接的な到達可能性に基づく証明によって、レジレット最小化を達成することは可能か？

主な発見

• 本稿は、集合としての報酬を扱える新たな枠組み「ロバスト到達可能性」を導入し、ブラックウェルの到達可能性理論を集合値報酬の設定に一般化することで、不確実性下でも制御が可能となる。
• 従来の手法がグリッドの細分化や確率測度への持ち上げを要するのに対し、本稿では計算量が定数である構成的アルゴリズムを提供する。
• ゲーム構造に依存しない収束レートを達成する。ブラックウェルの元々の結果と同等の性質を、一般な部分監視設定でも保つ。
• 外部的レジレット最小化において、ルゴシら（2008）と同等のレートを達成するが、到達可能性に基づく直接的で幾何的証明を用いる。
• 二段階線形信号構造を持つゲームでは、反復的細分化や複雑な確率空間への持ち上げを必要とせず、効率的なレジレット最小化が達成できる。
• ベルンシュタイン＝フリードマンの不等式を用いて、高い確率で実現信号の経験的平均が期待値から大きく逸脱しないことを理論的に保証する。