[論文レビュー] No Internal Regret via Neighborhood Watch

Dean P. Foster, Alexander Rakhlin|arXiv (Cornell University)|Aug 30, 2011

Advanced Bandit Algorithms Research参考文献 9被引用数 3

ひとこと要約

この論文は、局所的観測可能性条件下で、非確率的（敵対的）対戦相手に対しても $O(\sqrt{T})$ の内部および外部の後悔を達成する、Neighborhood Watch アルゴリズムを導入する。この手法は、行動の近隣領域における二段階の探索戦略を用い、局所的観測可能性条件による不偏損失推定を活用することで、バンドイットフィードバック設定における最適レートに一致する後悔バウンドを保証する。

ABSTRACT

We present an algorithm which attains O(\sqrt{T}) internal (and thus external) regret for finite games with partial monitoring under the local observability condition. Recently, this condition has been shown by (Bartok, Pal, and Szepesvari, 2011) to imply the O(\sqrt{T}) rate for partial monitoring games against an i.i.d. opponent, and the authors conjectured that the same holds for non-stochastic adversaries. Our result is in the affirmative, and it completes the characterization of possible rates for finite partial-monitoring games, an open question stated by (Cesa-Bianchi, Lugosi, and Stoltz, 2006). Our regret guarantees also hold for the more general model of partial monitoring with random signals.

研究の動機と目的

• 非 i.i.d.（敵対的）対戦相手下での有限部分監視ゲームにおける後悔レートを特徴付ける未解決問題を解決すること。
• 局所的観測可能性下で i.i.d. 対戦相手に対して既知であった $O(\sqrt{T})$ 後悔レートが、非確率的敵対的相手に対しても成立することを証明すること。
• 結果をより一般的なランダム信号を伴う部分監視モデルへ拡張すること。
• 局所的観測可能性が、内部および外部後悔の両方において $O(\sqrt{T})$ 後悔レートを完全に特徴づけることを確立し、可能な後悔レートの分類を完了すること。

提案手法

• 相手の混合戦略の最適応答によって定義される近隣グラフにおいて、ある行動に隣接する行動に切り替えることで利益を得ない、局所的内部後悔の概念を導入する。
• 二段階のアルゴリズムを用いる：まず近隣領域をランダムに選択し、その後その中から行動を選択することで、部分アルゴリズムの後悔とグローバル後悔を結ぶフロー条件を満たす。
• 局所的観測可能性条件を用いて不偏損失推定を実現し、隣接する行動 $i,j$ に対して $\ell_i - \ell_j \in \text{Im}(S_{(i,j)}^\top)$ が成り立つことを保証することで、隣接行動間の比較を信頼できるものにする。
• 推定ベクトル $v_{(i,j)}$ を構築し、$\ell_j - \ell_i = S_{(i,j)}^\top v_{(i,j)}$ を満たすようにすることで、観測された信号から隣接行動の相対的損失を推定可能にする。
• 学習率 $\eta$ と探索パrameter $\gamma$ を別々に扱う修正版の Hedge アルゴリズムを適用し、$\gamma = 0$ の場合に期待値で $O(\sqrt{T})$ 後悔を達成し、$\gamma \propto T^{-1/2}$ の場合に高確率で $O(\sqrt{T})$ 後悔を達成する。
• 決定論的信号行列 $S$ を確率的行列 $\Xi$ に置き換えることでランダム信号へ適応し、$\mathbb{E}[\Xi_i] = \Xi_i$ を満たすようにすることで、同じ局所的観測可能性条件下でも同じ後悔保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 局所的観測可能性下で i.i.d. 対戦相手に対して知られていた外部後悔の $O(\sqrt{T})$ レートが、非確率的（敵対的）対戦相手に対しても拡張可能か？
• RQ2 局所的観測可能性条件は、有限部分監視ゲームにおける内部および外部後悔の両方において $O(\sqrt{T})$ 後悔レートを完全に特徴づけるか？
• RQ3 決定論的フィードバックではなくランダム信号の場合にも、$O(\sqrt{T})$ 後悔保証を拡張可能か？
• RQ4 敵対的環境下でも、局所的観測可能性下で $O(\sqrt{T})$ 内部後悔を達成する一般化されたアルゴリズムフレームワークが存在するか？

主な発見

• Neighborhood Watch アルゴリズムは、局所的観測可能性条件下で非確率的対戦相手に対し $O(\sqrt{T})$ の外部後悔を達成し、Bartók, Pál, および Szepesvári による予想を裏付ける。
• 同じアルゴリズムは $O(\sqrt{T})$ の内部後悔を達成し、有限部分監視ゲームにおける可能な後悔レートの特徴付けを完全に完了する。
• 局所的観測可能性条件は、$O(\sqrt{T})$ 後悔の達成に必要かつ十分であり、隣接行動間の相対的損失の不偏推定を可能にする。
• 分析はランダム信号へ拡張可能である：同じ局所的観測可能性条件下で、$\gamma = 0$ の場合に期待値で $O(\sqrt{T})$ 後悔を維持し、$\gamma \propto T^{-1/2}$ の場合に高確率で $O(\sqrt{T})$ 後悔を達成する。
• 後悔バウンドはタイトである：これはバンドイットフィードバックゲーム（$L = H$ の場合）で知られている最適レートと一致し、同じ条件下ではより速いレートは達成不可能である。
• Cesa-Bianchi, Lugosi, および Stoltz が提起した部分監視ゲームにおける後悔レートの特徴付けに関する未解決問題を解決する。