[論文レビュー] Cleaning up the neighborhood: A full classification for adversarial partial monitoring

Tor Lattimore, Csaba Szepesvári|arXiv (Cornell University)|May 23, 2018

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿は、非退化なゲーム—すなわち、行動が低次元部分空間でのみ最適となる場合—を正しく扱えるように改良されたアルゴリズム、NeighbourhoodWatch2 を導入することで、有限の敵対的部分監視ゲームの分類を完了した。著者らは、以前の研究で依存していた任意の定数に依存しない、タイトなレグレットバウンド $O(F\sqrt{nK_{\text{loc}}\log K})$ を達成し、解析を単純化するとともに、タイトな下界を証明した。

ABSTRACT

Partial monitoring is a generalization of the well-known multi-armed bandit framework where the loss is not directly observed by the learner. We complete the classification of finite adversarial partial monitoring to include all games, solving an open problem posed by Bartok et al. [2014]. Along the way we simplify and improve existing algorithms and correct errors in previous analyses. Our second contribution is a new algorithm for the class of games studied by Bartok [2013] where we prove upper and lower regret bounds that shed more light on the dependence of the regret on the game structure.

研究の動機と目的

• 部分監視理論における未解決の問題を解決し、有限の敵対的部分監視ゲームの分類を完全化すること。
• 長年の問題である非退化ゲーム—行動が低次元部分空間でのみ最適となる場合—を、従来のアルゴリズムでは処理できなかった問題を扱うこと。
• NeighbourhoodWatchおよびBartókのアルゴリズムの先行分析を単純化・是正し、期待値と高確率バウンドの間違った入れ替えを是正すること。
• レグレットがゲーム構造、特にフィードバック次元と局所的行動幾何にどのように依存するかを明確にする、タイトなレグレットバウンドを確立すること。
• 非退化を含むすべてのゲームタイプにわたって、新アルゴリズムに対して一貫した高確率レグレット保証を提供すること。

提案手法

• FosterとRakhlinのNeighbourhoodWatchの改良版である、非退化行動をより適切に扱えるNeighbourhoodWatch2 を提案。局所的可観測性のチェックと洗練されたセル分割により、非退化行動の処理を向上。
• 幾何的アプローチを用い、セルを行動損失集合の積集合として定義することで、局所的に可観測な行動と非退化行動を特定可能にする。
• 適応的学習率を用いた指数重み法を適用し、マルティンゲールの集中とHoeffding型不等式により、高確率レグレットバウンドを保証する。
• レグレットの解析のための新規な局所ゲーム分解を導入し、局所的およびグローバルなフィードバック構造を区別する。
• Bartókら（2014）の解析における重大な誤りを是正。特に、局所化の議論において期待値と最大値の順序を入れ替えている点を修正。
• 一般には $F$ に対する線形依存が避けられないことを示し、上界と一致するタイトな下界を確立。

実験結果

リサーチクエスチョン

• RQ1 非退化ケース（以前未解決）を含むすべての有限敵対的部分監視ゲームの正しい分類は何か？
• RQ2 1つのアルゴリズムが、非退化および非退化ゲームを含むすべてのゲームタイプにおいて、高確率保証のもとで最適なレグレットを達成できるか？
• RQ3 レグレットが、フィードバック記号数 $F$、局所的行動次元 $K_{\text{loc}}$、ゲームの幾何構造といった構造的性質にどのように依存するか？
• RQ4 Bartókのアルゴリズムの先行解析が高確率バウンドを導けない理由は何か？ また、アルゴリズムの複雑さを増さずにこれを是正できるか？
• RQ5 レグレットバウンドにおける $F$ への線形依存は避けられないのか？ どのような構造的条件がより良いスケーリングを可能にするか？

主な発見

• 本稿は、Bartók ら（2014）以降未解決であった非退化ケースを解消することで、有限の敵対的部分監視ゲームの分類を完了した。
• NeighbourhoodWatch2 は $O(F\sqrt{nK_{\text{loc}}\log K})$ のレグレットバウンドを達成し、Bartók（2013）の結果を改善。任意のゲーム定数に依存せず、対数因子も削減した。
• Bartók ら（2014）の解析にあった誤りを是正。特に、局所化の議論において期待値と最大値の順序を入れ替えている点を修正。
• 一般には $F$ に対する線形依存が避けられないことを証明し、上界と一致するタイトな下界を確立した。
• 新アルゴリズムは Bartók のものよりも単純で、期待値に依存する分析とは異なり、高確率レグレット保証を提供する。
• 非退化行動は一意に最適ではないが、情報価値があり、最適なレグレットを達成するためにはアルゴリズム設計に組み込む必要があることが確認された。