[論文レビュー] Dynamic Batch Learning in High-Dimensional Sparse Linear Contextual Bandits

Zhimei Ren, Zhengyuan Zhou|arXiv (Cornell University)|Aug 27, 2020

Advanced Bandit Algorithms Research参考文献 54被引用数 6

ひとこと要約

本稿は、報酬フィードバックが遅延する高次元スパース線形コンテキストバンドイットにおける動的バッチ学習フレームワークを導入する。意思決定はバッチ単位で行われ、LASSOに基づく推定器と適応的バッチサイズ選択を用いて、最小最大最適なレグレットバウンド $ tilde{O}(ackslash sqrt{s_0 T})$ を確立し、マージン条件のない状況でも強制的探索なしに最適な性能を達成する。

ABSTRACT

We study the problem of dynamic batch learning in high-dimensional sparse linear contextual bandits, where a decision maker, under a given maximum-number-of-batch constraint and only able to observe rewards at the end of each batch, can dynamically decide how many individuals to include in the next batch (at the end of the current batch) and what personalized action-selection scheme to adopt within each batch. Such batch constraints are ubiquitous in a variety of practical contexts, including personalized product offerings in marketing and medical treatment selection in clinical trials. We characterize the fundamental learning limit in this problem via a regret lower bound and provide a matching upper bound (up to log factors), thus prescribing an optimal scheme for this problem. To the best of our knowledge, our work provides the first inroad into a theoretical understanding of dynamic batch learning in high-dimensional sparse linear contextual bandits. Notably, even a special case of our result -- when no batch constraint is present -- yields that the simple exploration-free algorithm using the LASSO estimator already achieves the minimax optimal regret bound for standard online learning in high-dimensional linear contextual bandits (for the no-margin case), a result that appears unknown in the emerging literature of high-dimensional contextual bandits.

研究の動機と目的

• 臨床試験やパーソナライズドマーケティングなどの実世界の応用において、個々の意思決定ではなくバッチ単位で意思決定がなされ、報酬フィードバックが遅延するという実用的制限を扱う。
• 最大バッチ数制約と遅延報酬観測の下で、動的バッチ学習の問題を形式化し、分析する。
• 根本的なレグレット下界を導出し、対応する上界（対数要因を除いて）を提供することで、提案手法の最適性を確立する。
• マージン条件が存在しない状況でも、単純なLASSOベースのアルゴリズムが最小最大最適な $\tilde{O}(\sqrt{s_0 T})$ レグレットを達成できることを示す。これは、これまでの文脈バンドイット分野では未知の結果であった。

提案手法

• アルゴリズムは、推定パラメータの信頼度に基づいてバッチサイズを動的に選択し、探索と活用のバランスを取るためにグリッドベースの戦略を用いる。
• 高次元スパーシティを扱うためにLASSO推定器を採用し、報酬に影響を与えるのは $s_0 \ll d$ 個の共変量に限られることを活用する。
• 推定誤差を制限するために、サブガウス型濃度不等式を用いてバッチ固有の信頼集合を構築する。
• 推定誤差と意思決定誤差を分離する新しいレグレット分解を導入し、チェルノフ不等式および最大サブガウス型不等式を用いて高確率で有効なバウンドを導出する。
• 推定報酬の大きな逸脱確率を制御するために、時間と行動の両方にわたる和集合不等式を用いる。
• 各ラウンドでバッチサイズを幾何級数的に増加させることで、適応的バッチ化を達成し、信頼性の高い推定に十分なデータを確保するとともに、レグレットを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 動的バッチ学習と遅延フィードバックの下で、高次元スパース線形コンテキストバンドイットにおける根本的学習限界は何か？
• RQ2 マージン条件が存在しない状況でも、単純なLASSOベースのアルゴリズムが強制的探索なしに最小最大最適なレグレットを達成できるか？
• RQ3 動的バッチ制約下で、レグレットはバッチ数 $M$、スパarsity $s_0$、および時間枠 $T$ に対してどのようにスケーリングされるか？
• RQ4 報酬フィードバックが各バッチの終了時のみに得られる場合、探索と活用の最適なトレードオフは何か？
• RQ5 レグレットバウンドが対数要因を除いて一致するかを確認し、提案手法の理論的最適性を確立できるか？

主な発見

• 本稿は、上界と対数要因を除いて一致するレグレット下界を確立し、提案された動的バッチ学習スキームの最適性を証明する。
• 強制的探索なしに、マージン条件のない状況でも単純なLASSOベースのアルゴリズムが最小最大最適な $\tilde{O}(\sqrt{s_0 T})$ レグレットを達成できることを示し、これは高次元コンテキストバンドイット分野でこれまで未知の結果であった。
• レグレットの上界は $\tilde{O}\left(\frac{\sqrt{M^3 \log T \log(TK)}}{\rho(K)\gamma(K)} \sqrt{T s_0} \left(\frac{T}{s_0}\right)^{1/(2(2^M - 1))}\right)$ であり、対数要因を除いてタイトである。
• 解析により、推定誤差が大きな確率は $\sqrt{T s_0 / M}$ に従って指数的に減少することが示され、高確率での集中性が保証される。
• $s_0$、$T$、$M$ に対して最適なスケーリングが達成されており、バッチサイズは幾何級数的に増加することで、学習と探索のバランスを取る。
• 導出されたレグレットバウンドは理論的下界と一致し、高次元スパース設定におけるこのスキームの最適性が確認される。