[論文レビュー] Best-Arm Identification in Linear Bandits

Marta Soare, Alessandro Lazaric+1 more|arXiv (Cornell University)|Sep 22, 2014

Advanced Bandit Algorithms Research参考文献 18被引用数 74

ひとこと要約

本稿は、線形バンディットにおける最良腕同定のための適応的サンプリング戦略を提案し、線形構造を活用してサンプル複雑性を最小化する。$\mathcal{X}\mathcal{Y}$-Adaptiveアルゴリズムを導入し、最も判別性の高い方向における不確実性を低減するように動的にサンプルを割り当てることで、静的または完全に適応的な手法よりも著しく低いサンプル予算でほぼオラクル性能を達成する。特に高次元設定において顕著である。

ABSTRACT

We study the best-arm identification problem in linear bandit, where the rewards of the arms depend linearly on an unknown parameter $θ^*$ and the objective is to return the arm with the largest reward. We characterize the complexity of the problem and introduce sample allocation strategies that pull arms to identify the best arm with a fixed confidence, while minimizing the sample budget. In particular, we show the importance of exploiting the global linear structure to improve the estimate of the reward of near-optimal arms. We analyze the proposed strategies and compare their empirical performance. Finally, as a by-product of our analysis, we point out the connection to the $G$-optimality criterion used in optimal experimental design.

研究の動機と目的

• 固定信頼度設定下での線形バンディットにおける最良腕同定の問題依存的複雑性を特定すること。
• 最適腕を高い確率で同定するために必要な引き抜き回数を最小化する効率的なサンプル割り当て戦略を設計すること。
• 報酬のグローバルな線形構造を活用し、標準的なマルチアームバンディット手法を超えて、近似的に最適な腕の推定精度を向上させること。
• 最良腕同定と最適実験設計の間の関係、特にG最適性基準とを確立すること。
• 完全に適応的な戦略が高次元設定でどのような限界に直面するかを示し、次元の呪いを回避するための段階的で適応的な代替手法を提案すること。

提案手法

• 候補腕と最適腕の差に基づいて腕を選択する、新規の$\mathcal{X}\mathcal{Y}$-割り当て戦略を提案し、ギャップ推定における不確実性を最も低減する方向に注目する。
• $\mathcal{X}\mathcal{Y}$-Adaptiveアルゴリズムを導入し、過去の観測から学習して、最も情報の得られる方向にサンプルを優先する段階的アプローチを採用。これにより、全次元にわたる均一な推定を回避する。
• 最適実験設計におけるG最適性基準を用いてサンプル割り当てをガイドし、最適腕ギャップ方向における予測分散の最大値を最小化する。
• 信頼区間ベースの停止ルールを採用し、誤り確率が$\delta$で抑えられることを保証。これにより、$\epsilon=0$の$(\epsilon,\delta)$-PAC保証が達成される。
• 提案戦略のサンプル複雑性を分析し、最小ギャップ$\Delta_{\min}$および腕集合の幾何構造に依存する理論的境界を導出する。
• 二段階の初期化を採用：まず、各標準基底腕に対して1回ずつ引き抜きを行い初期設計行列を構築し、その後、現在の不確実性に基づく適応的サンプリングを実施する。

実験結果

リサーチクエスチョン

• RQ1 線形バンディットにおける最良腕同定のサンプル複雑性は、腕集合の幾何構造および最適腕と非最適腕との間の最小ギャップにどのように依存するか？
• RQ2 報酬のグローバルな線形構造を活用することで、標準的なマルチアームバンディット手法に比べてサンプル複雑性を低減できるか？
• RQ3 特にG最適性が、最良腕同定のための効率的サンプリングをガイドする上で果たす役割は何か？
• RQ4 なぜ完全に適応的なサンプリング戦略は高次元設定で$\sqrt{d}$のペナルティを受けるのか？そして、これをどのように克服できるか？
• RQ5 $\mathcal{X}\mathcal{Y}$-Adaptiveアルゴリズムは、最も判別性の高い方向に動的に集中することで、どのようにほぼオラクル性能を達成するのか？

主な発見

• $\mathcal{X}\mathcal{Y}$-Adaptiveアルゴリズムは次元に伴うスケーリングが良好であり、次元が増加してもサンプル複雑性がほぼ一定を保つ。一方、静的戦略は$\sqrt{d}$ペナルティを被る。
• 高次元設定（$d=10$）において、$\mathcal{X}\mathcal{Y}$-Adaptiveは静的$\mathcal{X}\mathcal{Y}$およびG最適性に基づく戦略に比べ、必要なサンプル予算を桁違いに削減する。
• 数段階のうちに、最も情報の得られる方向（例：$\tilde{y} = x_1 - x_{d+1}$）を特定し、臨界なギャップ方向における不確実性を急速に低減するための標的的サンプリングを可能にする。
• $\mathcal{X}\mathcal{Y}$-Adaptive戦略は、段階的構造のおかげで完全に適応的なアルゴリズムを上回る。高次元では、性能を阻害する$\sqrt{d}$項を理論的境界から回避できる。
• G最適性との関係が明確に形式化された：G割り当て戦略は最大予測分散を最小化し、線形バンディットにおける効率的サンプリングの理論的基盤を提供する。
• 実験的結果から、$\mathcal{X}\mathcal{Y}$-Adaptiveは、事前に最も情報の得られる方向を知っているオラクルに近い性能を示し、特に高次元問題において顕著である。