[論文レビュー] Problem-Complexity Adaptive Model Selection for Stochastic Linear Bandits
本稿では、真のパラメーターベクトルのノルム $\|\theta^*\|$ やスパarsity $d^*$ といった問題の複雑さに基づいて、事前の知識なしにモデルを適応的に選択する、stochastic linear banditsのための新しい段階ベースのアルゴリズムであるAdaptive Linear Bandit（ALB）を提案する。ALBは、$\widetilde{O}(\|\theta^*\|\sqrt{T})$ および $\widetilde{O}(d^*\sqrt{T})$ のレグレットスケーリングを達成し、真の複雑さを事前に知るオラクルと同等の性能を示す。これは、両方の設定において、真の複雑さを認識するモデル選択の保証を達成する最初のアルゴリズムである。
We consider the problem of model selection for two popular stochastic linear bandit settings, and propose algorithms that adapts to the unknown problem complexity. In the first setting, we consider the $K$ armed mixture bandits, where the mean reward of arm $i \\in [K]$, is $\\mu_i+ \\langle \\alpha_{i,t},\ heta^* \ angle $, with $\\alpha_{i,t} \\in \\mathbb{R}^d$ being the known context vector and $\\mu_i \\in [-1,1]$ and $\ heta^*$ are unknown parameters. We define $\\|\ heta^*\\|$ as the problem complexity and consider a sequence of nested hypothesis classes, each positing a different upper bound on $\\|\ heta^*\\|$. Exploiting this, we propose Adaptive Linear Bandit (ALB), a novel phase based algorithm that adapts to the true problem complexity, $\\|\ heta^*\\|$. We show that ALB achieves regret scaling of $O(\\|\ heta^*\\|\\sqrt{T})$, where $\\|\ heta^*\\|$ is apriori unknown. As a corollary, when $\ heta^*=0$, ALB recovers the minimax regret for the simple bandit algorithm without such knowledge of $\ heta^*$. ALB is the first algorithm that uses parameter norm as model section criteria for linear bandits. Prior state of art algorithms \\cite{osom} achieve a regret of $O(L\\sqrt{T})$, where $L$ is the upper bound on $\\|\ heta^*\\|$, fed as an input to the problem. In the second setting, we consider the standard linear bandit problem (with possibly an infinite number of arms) where the sparsity of $\ heta^*$, denoted by $d^* \\leq d$, is unknown to the algorithm. Defining $d^*$ as the problem complexity, we show that ALB achieves $O(d^*\\sqrt{T})$ regret, matching that of an oracle who knew the true sparsity level. This methodology is then extended to the case of finitely many arms and similar results are proven. This is the first algorithm that achieves such model selection guarantees. We further verify our results via synthetic and real-data experiments.
研究の動機と目的
- 真の問題の複雑さ（例：$\|\theta^*\|$ や $d^*$）が事前に不明なstochastic linear banditsにおけるモデル選択を解決すること。
- 真のモデルを含む最小の仮説クラスに適応するアルゴリズムを設計し、上界ではなく真の複雑さに応じたレグレットスケーリングを達成すること。
- 有限または無限の腕を持つ線形バンディット設定において、ノルムベースとスパarsityベースの両方の複雑さ測定に基づいた適応的モデル選択を拡張すること。
- 合成データおよび実データの実験を通じて、提案されたアルゴリズムが非適応的ベースライン比で累積レグレットを1.5〜3倍改善することを示すこと。
提案手法
- 真の $\|\theta^*\|$ の推定値を段階的に改善する段階ベースのアルゴリズム、ALB-Normを提案。上昇するノルムの上限をもつ仮説クラスの系列を用い、データに適合する最小のクラスを動的に選択する。
- ノルムの上限をインデックスとするネストされた仮説クラスの系列を採用。アルゴリズムは、データに適合する最小のクラスを選択する。
- スパarsityに基づくモデル選択のためのALB-Dimを導入。$\theta^*$ のサポートサイズ $d^*$ の推定値を段階的なエポックを通じて改善する。
- 信頼区間とエポックごとの探索を用いてパラメータ推定値を改善し、レグレットを低減。各段階で複雑さの推定値が精錬される。
- しきい値処理と部分空間推定を用いて次元の精錬を行い、真のスパarsityレベル $d^*$ を特定する。
- 2段階の学習プロセスを採用：初期探索で複雑さを推定し、その後、選択された仮説クラスで精錬された学習を実行する。
実験結果
リサーチクエスチョン
- RQ1真の $\|\theta^*\|$ の値を事前に知らない状況でも、その真の値に線形に比例するレグレットスケーリングを達成できるか？
- RQ2線形バンディットにおいて、$\theta^*$ のスパarsity $d^*$ に基づいたモデル選択が可能であり、真の $d^*$ を既知とするオラクルと同等のレグレット性能を達成できるか？
- RQ3実際の応用において、複雑さの適応的推定が非適応的アルゴリズムに比べて顕著な性能向上をもたらすか？
- RQ4すべての $\theta^*$ に対して一様に有効なレグレットバウンズを達成しつつ、オラクルの性能と一致するか？
主な発見
- ALB-Normは、$\widetilde{O}(\|\theta^*\|\sqrt{T})$ のレグレットを達成し、$\theta^* = 0$ の場合のシンプルバンディットのミニマックスレグレットと同等の性能を示す。この事実は、$\|\theta^*\|$ の値を事前に知らない状況下でも成立する。
- ALB-Dimは、無限の腕を持つ線形バンディット設定において $\widetilde{O}(d^*\sqrt{T})$ のレグレットを達成し、真のスパarsity $d^*$ を既知とするオラクルと同等の性能を示す。
- 合成実験では、ALB-Normは非適応的OFUL+に比べて累積レグレットを1.5〜3倍改善し、真の $\|\theta^*\|$ 推定値に素早く収束した。
- Yahoo Learning to Rankデータセットを用いた実データ実験では、ALB-Normは6エポック目までに $\|\theta^*\|$ の推定値を初期推定値25から11.1に安定化させた。
- 合成設定では、5エポック未満で真のスパarsity $d^*$ が正しく同定され、効果的な次元の精錬が実現した。
- 性能向上は理論的バウンズの副産物ではなく、合成的および現実世界の評価から確認された根本的な利点である。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。