[論文レビュー] High-Dimensional Sparse Linear Bandits

Botao Hao, Tor Lattimore+1 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

この論文は、ホライズン $n$ がアンビエント次元より小さいデータが乏しい状況下で、高次元スパース線形バンディットにおける次元に依存しないミニマックスレグレット下界 $Ω(n^{2/3})$ を確立する。さらに、ほぼ一致する上界を達成する「探索してから実行する」アルゴリズムを提案し、良好に条件付けられた特徴分布下で $Θ(n^{2/3})$ が最適なレグレットレートであることを証明する。強い信号仮定の下では、追加で $O(\sqrt{n})$ のレグレットバウンドも得られる。

ABSTRACT

Stochastic linear bandits with high-dimensional sparse features are a practical model for a variety of domains, including personalized medicine and online advertising. We derive a novel $\Omega(n^{2/3})$ dimension-free minimax regret lower bound for sparse linear bandits in the data-poor regime where the horizon is smaller than the ambient dimension and where the feature vectors admit a well-conditioned exploration distribution. This is complemented by a nearly matching upper bound for an explore-then-commit algorithm showing that that $\Theta(n^{2/3})$ is the optimal rate in the data-poor regime. The results complement existing bounds for the data-rich regime and provide another example where carefully balancing the trade-off between information and regret is necessary. Finally, we prove a dimension-free $O(\sqrt{n})$ regret upper bound under an additional assumption on the magnitude of the signal for relevant features.

研究の動機と目的

• ホライズンがアンビエント次元より小さい場合のスパース線形バンディットにおける次元に依存しないミニマックスレグレット下界を確立すること。
• 高次元でデータが乏しい設定における情報収集とレグレットの根本的トレードオフを分析すること。
• 導出された下界にほぼ一致する上界を達成する「探索してから実行する」アルゴリズムを提案・分析すること。
• 信号の強さに関するより強い仮定の下で分析を拡張し、よりタイトな $O(\sqrt{n})$ レグレットバウンドを得ること。

提案手法

• 良好に条件付けられた探索分布を仮定して、データが乏しい状況下のスパース線形バンディットにおけるミニマックスレグレット下界 $\Omega(n^{2/3})$ を導出する。
• 探索と活用のバランスを取る「探索してから実行する」アルゴリズムを提案し、ほぼ一致する上界を達成する。
• 高次元統計と情報理論の道具を用いて、限られたデータにおけるスパース線形モデルの学習の根本的限界を特徴付ける。
• 関連特徴の信号大きさに関する追加仮定の下でレグレットを分析し、よりタイトな $O(\sqrt{n})$ 上界を得る。
• データが乏しい状況下で $n^{2/3}$ レートが最適であることを確立し、データが豊富な状況での既知の結果と対比する。

実験結果

リサーチクエスチョン

• RQ1 ホライズンがアンビエント次元より小さい場合の高次元スパース線形バンディットにおける根本的ミニマックスレグレットレートは何か？
• RQ2 「探索してから実行する」戦略は、スパース線形バンディットのデータが乏しい状況下で近似的に最適なレグレットを達成できるか？
• RQ3 良好に条件付けられた探索分布の存在が、高次元スパース線形バンディットにおけるレグレットバウンドにどのように影響するか？
• RQ4 どのような信号強度の仮定の下で、レグレットバウンドが $O(\sqrt{n})$ に改善するか？

主な発見

• この論文は、$n$ がホライズンであり、アンビエント次元が $n$ を超えるデータが乏しい状況下で、スパース線形バンディットにおける次元に依存しないミニマックスレグレット下界 $\Omega(n^{2/3})$ を確立する。
• 「探索してから実行する」アルゴリズムは、ほぼ一致する上界を達成し、良好に条件付けられた特徴分布下で $\Theta(n^{2/3})$ が最適なレグレットレートであることを証明する。
• 結果は、情報収集とレグレットのバランスが高次元でデータが乏しい設定において極めて重要であることを示し、データが豊富な状況とは明確に異なる最適レートを持つことを示す。
• 関連特徴の信号大きさに関する追加仮定の下では、レグレットは $O(\sqrt{n})$ で抑えられ、これは $n^{2/3}$ レートよりもタイトである。