[論文レビュー] Calibration and Internal no-Regret with Partial Monitoring

Vianney Perchet|arXiv (Cornell University)|Jun 9, 2010

Advanced Bandit Algorithms Research参考文献 19被引用数 5

ひとこと要約

本稿は、部分観測付き繰り返しゲームにおけるキャリブレーションと到達可能性の逆関係を確立し、補助ゲームにおけるキャリブレーション戦略を用いて内部的レジームなし戦略を構築できることを示している。本稿はブラックウェルの到達可能性フレームワークを、信号に基づくレジームを定義することで部分観測設定に拡張し、プレイヤーが相手の行動を観測できないがランダムな信号しか得られない状況でも、内部的に一貫した戦略の存在を証明している。

ABSTRACT

Calibrated strategies can be obtained by performing strategies that have no internal regret in some auxiliary game. Such strategies can be constructed explicitly with the use of Blackwell's approachability theorem, in an other auxiliary game. We establish the converse: a strategy that approaches a convex $B$-set can be derived from the construction of a calibrated strategy. We develop these tools in the framework of a game with partial monitoring, where players do not observe the actions of their opponents but receive random signals, to define a notion of internal regret and construct strategies that have no such regret.

研究の動機と目的

• 部分観測付き繰り返しゲームにおけるキャリブレーションと到達可能性の逆関係を確立すること。
• プレイヤーが相手の行動を観測できないがランダムな信号しか得られない状況で、内部的レジームなし戦略を定義し構築すること。
• 信号に基づくレジームを用いてブラックウェルの到達可能性定理を部分観測設定に拡張すること。
• 部分観測設定下で、補助ゲームにおけるキャリブレーション戦略から内部的に一貫した戦略を導出できることを示すこと。
• 有限行動空間を超えて一般化し、正則性仮定の下で収束するための条件を提供すること。

提案手法

• キャリブレーションが内部的レジームなし戦略によって達成される補助ゲームを用い、ブラックウェルの到達可能性定理を活用する。
• 部分観測における内部的レジームを、行動経験分布ではなく信号経験分布に対するレジームとして定義する。
• 累積レジームが時間とともに減少するように、指数関数的に増加するブロック長を有するブロックベース戦略を採用する。
• 二重化テクニックを適用してブロック間のレジーム蓄積を制御し、漸近的整合性を保証する。
• 補助ゲームにおけるキャリブレーション戦略を用いて、凸B集合の到達可能性戦略を構築する。
• 経験的信号分布の収束とレジームバウンドの安定性を保証するため、報酬の正則性を仮定1で課す。

実験結果

リサーチクエスチョン

• RQ1 補助ゲームにおけるキャリブレーション戦略を用いて、部分観測ゲームにおける内部的レジームなし戦略を構築できるか？
• RQ2 プレイヤーが相手の行動を観測できないがランダムな信号しか得られない状況で、内部的レジームを意味的に定義できるか？
• RQ3 キャリブレーションとレジームを結びつけることで、ブラックウェルの到達可能性フレームワークを部分観測設定に拡張できるか？
• RQ4 部分観測設定下で内部的に一貫した戦略が外部的にも一貫するための条件は何か？
• RQ5 信号が行動に依存する構造が、レジームなし戦略の構築と収束にどのように影響するか？

主な発見

• 補助ゲームにおけるキャリブレーション戦略を用いて、任意の凸B集合に対してε-到達可能性戦略を構築でき、標準的なキャリブレーション→到達可能性の鎖に逆関係を確立する。
• 実際の報酬に関する内部的一致性は、報酬関数の凸性と評価写像の線形性の下で外部的一致性を意味する。
• 提案されたアルゴリズムにより、累積レジームがεに収束し、十分に時間が経過すると各ブロックのレジームがε未満になることが保証される。これはブロック長のスケーリングによるものである。
• 指数関数的に増加するブロック長の使用により、初期のレジームが後続の小さなレジームフェーズと比較して漸近的に無視可能になる。
• 仮定1の下では、無限行動空間に対してもフレームワークが拡張可能であり、報酬関数と信号分布の正則性が保証される。
• 相手の行動が信号分布に影響を与える場合でも、信号構造が必要な正則性を満たしていれば、構築は依然として有効である。