[論文レビュー] Structured Best Arm Identification with Fixed Confidence

Ruitong Huang, Mohammad M. Ajallooeian+2 more|arXiv (Cornell University)|Jun 16, 2017

Advanced Bandit Algorithms Research参考文献 4被引用数 3

ひとこと要約

本稿は、ノイズの混入したマイクロ観測値に基づく支払いを有する構造的最良腕特定問題に対して、固定信頼度設定下で動作する新規アルゴリズム LUCB-micro を提案する。本稿は、先行研究を一般化・改善するインスタンス依存のサンプル複雑度の上限を提示しており、特に非一様な深さとトランスポジションを伴うミニマックスゲーム探索において、FindTopWinner よりもタイトな境界を達成している。

ABSTRACT

We study the problem of identifying the best action among a set of possible options when the value of each action is given by a mapping from a number of noisy micro-observables in the so-called fixed confidence setting. Our main motivation is the application to the minimax game search, which has been a major topic of interest in artificial intelligence. In this paper we introduce an abstract setting to clearly describe the essential properties of the problem. While previous work only considered a two-move game tree search problem, our abstract setting can be applied to the general minimax games where the depth can be non-uniform and arbitrary, and transpositions are allowed. We introduce a new algorithm (LUCB-micro) for the abstract setting, and give its lower and upper sample complexity results. Our bounds recover some previous results, which were only available in more limited settings, while they also shed further light on how the structure of minimax problems influence sample complexity.

研究の動機と目的

• 2手ゲーム木を超える、ノイズの混入したマイクロ観測値に依存する腕の報酬を持つ構造的環境における最良腕特定を扱う。
• 任意の深さとトランスポジションを伴うミニマックスゲーム探索の本質的性質を捉える抽象的設定を形式化する。
• 固定信頼度制約下で最良腕を効率的に特定する新しいアルゴリズム LUCB-micro を開発する。
• 問題構造が学習効率に与える影響を反映する、タイトなインスタンス依存のサンプル複雑度上限を確立する。
• 2手交互ゲームにおける先行研究の結果を回復・改善し、それらを完全なミニマックス木へと拡張する。

提案手法

• 腕の報酬が未知のマイクロ観測値の決定的関数であり、各マイクロ観測値に対してノイズの混入した観測値が得られるという抽象的フレームワークを提案する。
• LUCB-micro アルゴリズムを Maximin-LUCB の一般化として導入し、マイクロ観測値の上界と下界の信頼区間を用いてサンプリングを誘導する。
• 証明集合（proof sets）を定義し、ミニマックス木における最適手の特定の難易度を決定する重要な構造とみなす。これは「共謀集合（conspiracy sets）」に類似している。
• 報酬関数の構造を活用して、ミニマックス設定下での最適行動選択を効率的に計算するためのミニマックス計算戦略を用いる。
• 信頼区間と値集合のスパンに基づき、マイクロ観測値ごとの引張回数を分析することで、高確率かつインスタンス依存のサンプル複雑度の上界を確立する。
• 報酬写像に正則性仮定を課すことにより、アルゴリズムがリスク要件（高い確率で正しく識別されること）を満たすことを証明する。

実験結果

リサーチクエスチョン

• RQ1 2手ゲーム木で観察された効率性向上が、任意の深さとトランスポジションを伴う一般のミニマックスゲームに拡張可能か？
• RQ2 特に共有状態の存在と非一様な深さが、最良腕特定のサンプル複雑度にどのように影響するか？
• RQ3 マイクロ観測値を伴う構造的最良腕特定におけるインスタンス依存の下界は何か？
• RQ4 LUCB-micro のような単一のアルゴリズムが、完全なミニマックス木を含む多様な構造的環境で最適なサンプル複雑度を達成可能か？
• RQ5 ミニマックス木における構造的不変量である証明集合は、最適手の特定の難易度にどのように影響するか？

主な発見

• 提案された LUCB-micro アルゴリズムは、ミニマックスゲーム設定下で、FindTopWinner よりも厳密に優れた高確率かつインスタンス依存のサンプル複雑度上界を達成しており、特に近似的に最良なマイクロ観測値を取得するためのサンプル数において顕著な改善を示している。
• LUCB-micro のサンプル複雑度上界は、2手交互ゲームの場合にインスタンス依存の下界と一致しており、その領域における最適性を確認している。
• 本稿は、構造的最良腕特定における新たなインスタンス依存の下界を確立し、Garivier 他（2016a）の2手ゲーム設定における先行結果を一般化・回復している。
• 抽象的設定に必要な正則性仮定はミニマックスゲーム設定で満たされており、理論的保証を実際のゲーム探索問題に適用可能である。
• 証明集合を構造的不変量として用いることで、サンプル複雑度の tighter 分析が可能となり、最適手の特定の難易度が最小証明集合サイズに支配されることを明らかにした。
• アルゴリズムのサンプル複雑度が、証明集合上の値集合のスパンの逆数の二乗に比例することを示しており、問題の固有の難易度に明確な依存関係があることを示している。