[論文レビュー] Sparsity-Agnostic Lasso Bandit

Min-hwan Oh, Garud Iyengar+1 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Bandit Algorithms Research参考文献 33被引用数 5

ひとこと要約

本稿では、スパarsityインデックス $ s_0 $ の事前知識を必要とせずに、スパarsityに依存しない方法でラッソ回帰を用いることで、最適なレジット性能を達成する文脈的バンディットアルゴリズムである Sparsity-Agnostic Lasso Bandit (SA Lasso Bandit) を提案する。2腕バンディットにおいて、$ \mathcal{O}(s_0\sqrt{T\log(dT)}) $ のタイトなレジットバウンドを確立し、オフラインラッソの性能を一致させ、$ s_0 $ が与えられた場合でさえも既存手法を上回る性能を示す。

ABSTRACT

We consider a stochastic contextual bandit problem where the dimension $d$ of the feature vectors is potentially large, however, only a sparse subset of features of cardinality $s_0 \ll d$ affect the reward function. Essentially all existing algorithms for sparse bandits require a priori knowledge of the value of the sparsity index $s_0$. This knowledge is almost never available in practice, and misspecification of this parameter can lead to severe deterioration in the performance of existing methods. The main contribution of this paper is to propose an algorithm that does not require prior knowledge of the sparsity index $s_0$ and establish tight regret bounds on its performance under mild conditions. We also comprehensively evaluate our proposed algorithm numerically and show that it consistently outperforms existing methods, even when the correct sparsity index is revealed to them but is kept hidden from our algorithm.

研究の動機と目的

• スパarsityインデックス $ s_0 $ の事前知識を必要とする既存のスパース文脈的バンディットアルゴリズムの重大な制限を解消すること。実際の応用では $ s_0 $ がほとんど入手不可能である。
• アルゴリズムが $ s_0 $ や $ d $ に最適なスケーリングを維持しながら、$ s_0 $ 依存のチューニングに依存しないようにすること。
• 通常の研究で見られる $ s_0 $ 依存の強制的サンプリングスキームの必要性を排除すること。これは、アルゴリズムのロバストネスを損なう要因である。
• 実験的に、既存手法が正しい $ s_0 $ を与えられている場合でさえも、提案手法が一貫して優れた性能を示すことを示すこと。

提案手法

• 未知のパラメーターベクトル $ \beta^* $ の推定に $ \ell_1 $-正則化回帰（ラッソ）を用い、$ s_0 $ に依存しない方法で行い、$ s_0 $ への明示的依存を回避する。
• 信頼区間に基づく選択ルールを採用し、探索と活用のバランスを図る。これは、高次元設定下でのラッソ推定子の安定性に依存する。
• 強制的サンプリングを回避するため、ラッソの内在的正則化により、経験的グラム行列が良好に条件付けられることを保証し、$ s_0 $ 依存のチューニングの必要性を排除する。
• 理論的分析では、集中不等式とラッソ推定子の性質を用い、やや弱い正則性条件のもとでレジットバウンドを導出する。
• 2腕バンディットの場合、アルゴリズムのレジットは $ \mathcal{O}(s_0\sqrt{T\log(dT)}) $ でバウンドされ、オフラインラッソの最適レートと一致する。
• 一般化された選択ルールを用いて $ K $-腕バンディットに拡張され、同じレジットスケーリングを維持する。

実験結果

リサーチクエスチョン

• RQ1 スパarsityインデックス $ s_0 $ の事前知識が不要であるにもかかわらず、$ s_0 $ と $ d $ に最適なスケーリングを達成できる文脈的バンディットアルゴリズムは可能か？
• RQ2 ラッソベースの推定をバンディット設定でどのように用いることで、$ s_0 $ 依存のチューニングなしに性能を維持できるか？
• RQ3 強制的サンプリングを排除することで、スパースバンディット問題におけるレジット性能とロバストネスにどのような影響を与えるか？
• RQ4 真の $ s_0 $ が既存手法には与えられているが、提案手法には隠されている状況で、提案アルゴリズムは既存手法とどのように比較されるか？

主な発見

• Sparsity-Agnostic Lasso Bandit は、2腕バンディットにおいて $ \mathcal{O}(s_0\sqrt{T\log(dT)}) $ のレジットバウンドを達成し、オフラインラッソの最適レートと一致する。
• 数値実験において、既存手法が正しい $ s_0 $ を与えられている場合でさえも、提案手法は優れた性能を示し、ロバストネスと優れた収束性を実証する。
• 強制的サンプリングの必要性が排除され、これは通常の研究で見られる $ s_0 $ 依存のスキームであり、実用的応用性を向上させる。
• ガウス分布、一様分布、楕円分布などの異なる相関レベルや特徴分布を想定した実験において、SA Lasso Bandit は一貫した性能を維持するが、DR Lasso Bandit などの競合手法は相関が低い場合に著しく性能を低下させる。
• $ d \in \{100, 200, 400, 800\} $ および $ s_0 \in \{5, 10, 20\} $ の範囲で、$ d $ の増加に伴い滑らかに性能が低下するが、依然として強力な性能を維持する。
• 理論的分析により、レジットバウンドが $ s_0 $ と $ d $ に対して最適にスケーリングされることを確認し、やや弱い正則性条件のもとで、アルゴリズムが証明可能に近似的に最適であることが示された。