[論文レビュー] Thresholded Lasso Bandit

Kaito Ariu, Kenshi Abe+1 more|arXiv (Cornell University)|Oct 22, 2020

Advanced Bandit Algorithms Research参考文献 20被引用数 5

ひとこと要約

本稿では、スパースな確率的文脈的線形バンディットにおけるパrameter-freeなアルゴリズムとして、Thresholded Lasso Banditを提案する。この手法は、スパースな報酬パラメータとそのサポートを推定するためにLassoにしきい値処理を適用し、グリーディなアーム選択を可能にする。非独立同分布（non-i.i.d.）の適応的バンディットフィードバックからでも、高確率推定保証を用いることで、一般には$ olimits\mathcal{O}(\log d + \sqrt{T})$、マージン条件のもとでは$ olimits\mathcal{O}(\log d + \log T)$というより緊密なレギュレートバウンドを達成する。これは、先行手法よりも優れている。

ABSTRACT

In this paper, we revisit the regret minimization problem in sparse stochastic contextual linear bandits, where feature vectors may be of large dimension $d$, but where the reward function depends on a few, say $s_0\ll d$, of these features only. We present Thresholded Lasso bandit, an algorithm that (i) estimates the vector defining the reward function as well as its sparse support, i.e., significant feature elements, using the Lasso framework with thresholding, and (ii) selects an arm greedily according to this estimate projected on its support. The algorithm does not require prior knowledge of the sparsity index $s_0$ and can be parameter-free under some symmetric assumptions. For this simple algorithm, we establish non-asymptotic regret upper bounds scaling as $\mathcal{O}( \log d + \sqrt{T} )$ in general, and as $\mathcal{O}( \log d + \log T)$ under the so-called margin condition (a probabilistic condition on the separation of the arm rewards). The regret of previous algorithms scales as $\mathcal{O}( \log d + \sqrt{T \log (d T)})$ and $\mathcal{O}( \log T \log d)$ in the two settings, respectively. Through numerical experiments, we confirm that our algorithm outperforms existing methods.

研究の動機と目的

• $d$個の特徴量のうち、報酬に影響を与えるのはごく少数であるという高次元スパースな確率的文脈的線形バンディットにおけるレギュレート最小化の課題に対処すること。
• スパarsityインデックス$s_0$の事前知識を必要とせず、対称性の仮定のもとでパrameter-freeとなるアルゴリズムの開発。
• しきい値処理を施したLasso推定を活用することで、サポート回復とパラメータ推定の精度を向上させ、既存のレギュレートバウンドを改善すること。
• 次元$d$と時間$T$に強く依存しない良好なスケーリングを示す非漸近的レギュレート保証を確立すること。特にマージン条件の下で。

提案手法

• 各ラウンドにおいて、未知の報酬パラメータ$\theta$の推定とそのスパースなサポートの特定を目的として、しきい値処理を施したLassoフレームワークを用いる。
• 推定された$\theta$のしきい値処理済み推定値を、その推定サポート上に射影することで、アーム選択に適した改良されたパラメータ推定値を構築する。
• 推定された$\theta$とアーム特徴量ベクトルの内積に基づいてグリーディにアームを選択し、関連する特徴量の探索を保証する。
• 次元$d$に依存しない推定誤差に関する高確率バウンドを導出する。これは、適応的かつ非独立同分布のデータサンプリングに対しても成立する。
• 先行研究（Oh et al., 2021）の対称性仮定を活用することで、パrameter-free設計と緊密なレギュレート解析を可能にする。
• 有限時間解析を適用し、一般には$ olimits\mathcal{O}(\log d + \sqrt{T})$、マージン条件のもとでは$ olimits\mathcal{O}(\log d + \log T)$というレギュレートバウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 適応的かつ非独立同分布のバンディットフィードバックにおいて、しきい値処理を施したLasso推定は、サポート回復とパラメータ推定の精度を向上させることができるか？
• RQ2 提案されたアルゴリズムは、高次元設定における既存のスパース線形バンディット手法よりもタイトなレギュレートバウンドを達成するか？
• RQ3 対称性の仮定のもとで、パrameter-freeに設計されつつも、強力なレギュレート保証を維持できるか？
• RQ4 報酬分布がアーム同士で明確に分離されているマージン条件のもとで、アルゴリズムはどのように動作するか？
• RQ5 合成的および実世界の設定において、アルゴリズムの実効的性能は、最先端のベースラインと比較してどの程度か？

主な発見

• 一般には非漸近的レギュレート上界$ olimits\mathcal{O}(\log d + \sqrt{T})$を達成し、先行の最良手法である$ olimits\mathcal{O}(\log d + \sqrt{T \log(dT)})$よりも改善されている。
• マージン条件のもとでは、レギュレートは$ olimits\mathcal{O}(\log d + \log T)$にスケーリングされ、先行の$ olimits\mathcal{O}(\log T \log d)$バウンドよりもタイトである。
• 推定誤差によるレギュレートの寄与は、一般には$ olimits\mathcal{O}(\sqrt{T})$、マージン条件のもとでは$ olimits\mathcal{O}(\log T)$であり、$ olimits\mathcal{O}(\log d)$項はサポート推定誤差に起因する。
• 数値実験により、Thresholded Lasso Banditは、Lasso Bandit、Doubly-Robust Lasso Bandit、Sparsity-Agnostic Lasso Banditの両方の観点で推定精度と累積レギュレートの両面で優れていることが確認された。
• 最良のアームが$\theta$のサポートをカバーしない困難なインスタンスにおいても、相関係数や次元（$d \in \{1000, 2000\}$）の変動に関わらず、競合手法よりも低いレギュレートを達成している。
• 実世界のR6Aデータセットにおいて、平均ユーザークリック数という観点で、ランダム方策およびLinUCBを上回る性能を示し、実用的有効性が裏付けられた。