[論文レビュー] Explicit Best Arm Identification in Linear Bandits Using No-Regret Learners

Mohammadi Zaki, Avinash Mohan+1 more|arXiv (Cornell University)|Jun 13, 2020

Advanced Bandit Algorithms Research参考文献 15被引用数 8

ひとこと要約

本稿では、最小レギュレータのない学習者を用いて、線形バンディットにおける最良腕同定の明示的かつ証明可能に最適なアルゴリズムPELEGを提案する。問題を2人零和ゲームとして定式化し、オンライン学習を用いて鞍点に逐次収束させることで、ミニマックスオラクルに依存せず、定数因子を除いて理論的下界に一致する順序最適なサンプル複雑度を達成する。

ABSTRACT

We study the problem of best arm identification in linearly parameterised multi-armed bandits. Given a set of feature vectors $\mathcal{X}\subset\mathbb{R}^d,$ a confidence parameter $δ$ and an unknown vector $θ^*,$ the goal is to identify $\arg\max_{x\in\mathcal{X}}x^Tθ^*$, with probability at least $1-δ,$ using noisy measurements of the form $x^Tθ^*.$ For this fixed confidence ($δ$-PAC) setting, we propose an explicitly implementable and provably order-optimal sample-complexity algorithm to solve this problem. Previous approaches rely on access to minimax optimization oracles. The algorithm, which we call the extit{Phased Elimination Linear Exploration Game} (PELEG), maintains a high-probability confidence ellipsoid containing $θ^*$ in each round and uses it to eliminate suboptimal arms in phases. PELEG achieves fast shrinkage of this confidence ellipsoid along the most confusing (i.e., close to, but not optimal) directions by interpreting the problem as a two player zero-sum game, and sequentially converging to its saddle point using low-regret learners to compute players' strategies in each round. We analyze the sample complexity of PELEG and show that it matches, up to order, an instance-dependent lower bound on sample complexity in the linear bandit setting. We also provide numerical results for the proposed algorithm consistent with its theoretical guarantees.

研究の動機と目的

• 線形バンディットにおける最良腕同定のための明示的かつ実装可能なアルゴリズムを設計し、最適なサンプル複雑度を達成すること。
• 計算的に不確かである実際の状況において、ミニマックス最適化オラクルに依存しないようにすること。
• 既知の情報理論的下界に一致するインスタンス最適なサンプル複雑度を達成すること。
• 提案されたアルゴリズムの明確な計算コスト解析を提供すること。
• 非構造的バンディットから構造的線形バンディット設定へのゲーム理論的手法の拡張すること。

提案手法

• サンプル複雑度の下界におけるコアなミニマックス最適化問題を、2人零和ゲームとして解釈する。
• ミニマックス計算を直接行わず、レギュレータを最小化するオンライン学習サブルーチンを用いて、ゲームの鞍点を近似する。
• 各ラウンドで真のパラメータ $\theta^*$ を含む信頼楕円体を維持・更新する。
• 信頼集合の縮小とゲーム理論的方針選択に基づき、非最適な腕をフェーズごとに除外する。
• レギュレータを最小化する戦略と信頼区間を用いて、フェーズの長さを動的に決定する。
• 交差を避ける停止基準を採用することで、フェーズ終了の閉形式計算が可能になる。

実験結果

リサーチクエスチョン

• RQ1 線形バンディットにおける最良腕同定は、理論的サンプル複雑度下界に一致する明示的かつ実装可能なアルゴリズムによって解けるか？
• RQ2 最適性を保ちつつ、ミニマックスオラクルを最小レギュレータの学習サブルーチンに置き換えることは可能か？
• RQ3 ミニマックス問題のゲーム理論的解釈を、適応的サンプリング戦略の設計にどう活用できるか？
• RQ4 提案されたアルゴリズムの正確なサンプル複雑度は何か？ これは既知のインスタンス依存下界と一致するか？
• RQ5 アルゴリズムの計算コストは明確に定量化され、実用的になるか？

主な発見

• PELEGは順序最適なサンプル複雑度を達成し、インスタンス依存下界に定数因子を除いて一致する。
• アルゴリズムのサンプル複雑度は、$\tau \leq \left(2048\frac{\log_{2}(1/\Delta_{\text{min}})}{D_{\theta^{*}}}\left[\frac{(\log((\log_{2}(1/\Delta_{\text{min}}})^2K^2/\delta))^2\log K}{(\sqrt{2}-1)^2C^2}\right]\right) + \left(256\frac{\log_{2}(1/\Delta_{\text{min}})}{D_{\theta^{*}}}\log((\log_{2}(1/\Delta_{\text{min}}})^2K^2/\delta)\right)$ で抑えられる。
• 先行研究とは異なり、高精度でのミニマックス問題の解法や整数割り当ての丸め処理を必要としない。
• 数値結果により、PELEGのサンプル複雑度が理論的予測と一致することが確認された。
• 最小レギュレータの学習者を用いることで、オラクルへのアクセスなしに実用的で適応的なサンプリング戦略が可能になった。
• ゲーム理論的手法が非構造的から構造的線形バンディット問題へと成功裏に拡張された。