[論文レビュー] Nearly Dimension-Independent Sparse Linear Bandit over Small Action Spaces via Best Subset Selection

Yi Chen, Yining Wang+3 more|arXiv (Cornell University)|Sep 4, 2020

Advanced Bandit Algorithms Research参考文献 60被引用数 4

ひとこと要約

本稿では、最良のサブセット選択と二重に成長するエポックを用いて、高次元でスパースな線形文脈バンディットにおいて、小さなランダムな行動空間を持つ場合に $\tilde{O}(s\sqrt{T})$ のリグレットを達成する、次元にほぼ依存しないスパース線形バンディットアルゴリズムを提案する。この手法は、探索と活用のバランスを保ちつつ、計算可能性を維持し、低次元の状況におけるミニマックス下界に一致する。

ABSTRACT

We consider the stochastic contextual bandit problem under the high dimensional linear model. We focus on the case where the action space is finite and random, with each action associated with a randomly generated contextual covariate. This setting finds essential applications such as personalized recommendations, online advertisements, and personalized medicine. However, it is very challenging to balance the exploration and exploitation tradeoff. We modify the LinUCB algorithm in doubly growing epochs and estimate the parameter using the best subset selection method, which is easy to implement in practice. This approach achieves O(sT) regret with high probability, which is nearly independent of the “ambient” regression model dimension <i>d</i>. We further attain a sharper O(sT) regret by using the SupLinUCB framework and match the minimax lower bound of the low-dimensional linear stochastic bandit problem. Finally, we conduct extensive numerical experiments to empirically demonstrate our algorithms’ applicability and robustness. Supplementary materials for this article are available online.

研究の動機と目的

• 高次元線形文脈バンディットにおいて、環境次元 $d$ が標本サイズ $T$ よりもはるかに大きい状況に対処すること。
• 計算効率を維持しながら、スパースな高次元設定において、環境次元 $d$ にほぼ依存しないリグレットを達成する実用的かつ実装可能なアルゴリズムの開発。
• 有限で小さな、ランダムに生成された行動空間において、探索と活用を効果的にバランスすること。
• 最良のサブセット選択を用いてSupLinUCBフレームワークを精緻化することで、低次元線形バンディット問題のミニマックス下界に一致するリグレット境界を達成すること。
• 提案手法の堅牢性と多様な状況への適用可能性を経験的に検証すること。

提案手法

• アルゴリズムは、時間間隔のサイズが増加するように、二重に成長するエポックを用いて、探索と活用を体系的かつバランスよく保証する。
• スパースなパラメーターベクトル $\theta^*$ の推定に、非ゼロ成分の $s$ 個に限定して最良のサブセット選択を用いることで、推定誤差を低減し、解釈可能性を向上させる。
• 各エポック内で、推定誤差を制限するために、リッジ回帰推定量と信頼領域を用いる。これは自己正規化マルティングル型集中不等式を活用する。
• 信頼領域は、実証的グラム行列と正則化を用いて構築され、パラメータ推定誤差の高確率での境界を保証する。
• SupLinUCBフレームワークを最良のサブセット選択を統合することで精緻化し、信頼領域を改善してよりタイトなリグレット境界を達成する。
• 各エポックにおいて、推定パラメータのサポート集合 $S_{\tau-1}$ を動的に更新することで、スパースに配慮した学習を保証する。

実験結果

リサーチクエスチョン

• RQ1 スパースな線形バンディットアルゴリズムは、高次元設定において環境次元 $d$ にほぼ依存しないリグレットを達成できるか？
• RQ2 最良のサブセット選択は、計算可能性と統計的効率を維持しながら、文脈バンディットフレームワークにどのように効果的に統合できるか？
• RQ3 有限で小さく、ランダムに生成された行動空間において、探索と活用の最適なトレードオフは何か？
• RQ4 提案手法は、低次元線形バンディット問題のミニマックス下界に一致するリグレット境界を達成できるか？
• RQ5 スパース性やノイズのレベルが変化する条件下で、アルゴリズムの性能はどのように変化するか？

主な発見

• 提案アルゴリズムは、高確率で $\widetilde{\mathcal{O}}(s\sqrt{T})$ のリグレット境界を達成する。これは環境次元 $d$ にほぼ依存しない。
• 最良のサブセット選択とSupLinUCBフレームワークを組み合わせることで、より鋭いリグレット境界 $\widetilde{\mathcal{O}}(\sqrt{sT})$ を達成し、低次元線形バンディットのミニマックス下界に一致する。
• 最良のサブセット選択とエポックごとの推定を用いることで、計算可能性が維持され、高次元における完全なスパース回帰の非効率性を回避する。
• 理論的分析により、自己正規化マルティングル型集中とリッジ正則化を用いて、パラメータ推定量の信頼領域がきめ細かく制御されていることが確認された。
• 数値実験により、アルゴリズムの堅牢性と、さまざまな高次元的・スパースな設定における優れた経験的性能が示された。
• スパーシティを活用し、有限で小さな行動空間を活用することで、次元の呪いを効果的に回避し、リグレットの成長を低減する。