[論文レビュー] Bandit Theory meets Compressed Sensing for high dimensional Stochastic Linear Bandit

Alexandra Carpentier, Rémi Munos|arXiv (Cornell University)|May 18, 2012

Advanced Bandit Algorithms Research参考文献 19被引用数 76

ひとこと要約

本稿では、スパースなパラメータを有する高次元確率的線形バンディット問題に対する新しいアルゴリズム、SL-UCB を提案する。スパースパラメータのサポート特定に圧縮センシングを組み合わせ、低次元部分空間上で線形バンディット手法を適用することで、次元 $K$ ではなくスパarsity $S$ に比例する $O(Sackslashsqrt{n})$ のレグレットバウンドを達成する。$n \ll K$ の場合に効率的な学習が可能である。本手法は勾配上昇法を用いた高次元関数最適化において実証された。

ABSTRACT

We consider a linear stochastic bandit problem where the dimension $K$ of the unknown parameter $\ heta$ is larger than the sampling budget $n$. In such cases, it is in general impossible to derive sub-linear regret bounds since usual linear bandit algorithms have a regret in $O(K\\sqrt{n})$. In this paper we assume that $\ heta$ is $S-$sparse, i.e. has at most $S-$non-zero components, and that the space of arms is the unit ball for the $||.||_2$ norm. We combine ideas from Compressed Sensing and Bandit Theory and derive algorithms with regret bounds in $O(S\\sqrt{n})$.

研究の動機と目的

• 高次元確率的線形バンディット問題において、回数 $n$ がパラメータ次元 $K$ よりも著しく小さい状況に対処すること。
• 未知のパラメータ $\theta$ が $S$-スパースであると仮定することで、高次元設定においてサブラインアーなレグレットを達成すること。
• 圧縮センシングの原則に従い、関連する座標を効率的に特定するアルゴリズムを設計すること。
• サポート推定と適応的特徴抽出を組み合わせることで、最適なレグレット性能を達成する線形バンディット手法を統合すること。

提案手法

• 本アルゴリズムは二段階のアプローチを採用する：まず、スパースパラメータ $\theta$ のサポートを特定するための、圧縮センシングにインspiredされた探索段階。
• サポート探索段階では、ランダムな等方的射影（単位 $\ell_2$-ボールからのアーム）を用い、ノイズ付き内積測定値 $r_t = \langle x_t, \theta + \eta_t \rangle$ を収集する。
• 収集した測定値から、ハードスレッショルドや正則化法を用いて $\theta$ のサポートを推定する。
• サポートが推定されると、推定された部分空間に制限された線形バンディット方策（UCBスタイル）に切り替えて、活用段階に入れる。
• レグレットは、濃縮不等式（例：アズマの不等式）とサポートおよびパラメータの推定誤差のバウンドを用いて解析される。
• 最終的なレグレットバウンドは、サポート推定誤差と $S$-次元部分空間上での線形バンディットのレグレットを組み合わせることで導出される。

実験結果

リサーチクエスチョン

• RQ1 高次元確率的線形バンディット問題において $n \ll K$ の場合に、サブラインアーなレグレットを達成できるか？
• RQ2 パラメータ $\theta$ のスパarsity を活用することで、標準の $O(K\sqrt{n})$ バウンドを下回るレグレットを達成できるか？
• RQ3 限られたサンプル数で、圧縮センシング技術をバンディット学習に効果的に統合し、関連する特徴を特定できるか？
• RQ4 高次元スパース設定において、探索と活用のバランスをどのようにとれば、レグレットを最小化できるか？
• RQ5 真のパラメータが $S$-スパースで $S \ll K$ の場合、最適なレグレットスケーリングは何か？

主な発見

• SL-UCB アルゴリズムは、環境次元 $K$ ではなくスパarsity $S$ に依存する $O(S\sqrt{n})$ のレグレットバウンドを達成する。これは標準の $O(K\sqrt{n})$ バウンドに比べて顕著に改善されている。
• このレグレットバウンドは高確率 $1 - \delta$ で成り立ち、$\delta$ への依存は対数的であり、具体的には $O(\log(2K/\delta))$ である。
• 探索段階では、$O(S\log K)$ の測定値のみを用いて $\theta$ のサポートを効率的に特定でき、これは圧縮センシング理論と整合的である。
• 数値実験により、スパース勾配を持つ高次元関数の最適化において、SL-UCB が標準のバンディットベースラインを上回ることを示した。
• 勾配上昇法のような、関連する変数が少数である高次元関数最適化の設定において、本手法は特に効果的である。
• 解析により、レグレットはサポート回復の推定誤差と、低次元 $S$-次元部分空間上でのレグレットに支配され、両者とも濃縮不等式とUCBスタイルの信頼区間によって制御されていることが示された。