[論文レビュー] Regularized Contextual Bandits

Xavier Fontaine, Quentin Berthet+1 more|arXiv (Cornell University)|Oct 11, 2018

Advanced Bandit Algorithms Research被引用数 3

ひとこと要約

本稿では、文脈空間をボックスに分割し、各ボックス内で正則化されたマルチアームバンディット問題を独立して解くことで、正則化された文脈的バンディットアルゴリズムを提案する。新しいマージン条件を用いることで、 Hölder滑らかさを持つ報酬関数の下で、古典的な非パラメトリック文脈的バンディットよりも収束が向上する問題依存の高速レートと問題独立の中間レートを達成する。

ABSTRACT

We consider the stochastic contextual bandit problem with additional regularization. The motivation comes from problems where the policy of the agent must be close to some baseline policy which is known to perform well on the task. To tackle this problem we use a nonparametric model and propose an algorithm splitting the context space into bins, and solving simultaneously - and independently - regularized multi-armed bandit instances on each bin. We derive slow and fast rates of convergence, depending on the unknown complexity of the problem. We also consider a new relevant margin condition to get problem-independent convergence rates, ending up in intermediate convergence rates interpolating between the aforementioned slow and fast rates.

研究の動機と目的

• エージェントの方策が事前に分かっているベースライン方策に近づけなければならない文脈的バンディット問題に対処すること。
• 未知の問題の複雑さに適応しつつ、正則化を維持する非パラメトリックなアルゴリズムを開発すること。
• 新しいマージン条件を用いて、遅いレートと速いレートの間を補間する収束レートを導出すること。
• Hölder滑らかさを持つ報酬関数の下で、レグレットに対する理論的保証を確立すること。
• 問題の複雑さに関する事前の知識を必要とせず、探索と正則化のバランスを取る手法を提供すること。

提案手法

• アルゴリズムはd次元の文脈空間をB^d個のボックスに分割し、各ボックスを独立した正則化マルチアームバンディット問題として扱う。
• 各ボックス内で、探索とベースライン方策への近接性の両立を図る正則化されたUCBスタイルの方策を適用する。
• 正則化項により、学習された方策が事前に指定されたベースライン方策に近づくように制御され、安定性と性能が保証される。
• 中間レートの収束を導出するため、新しいマージン条件を導入する。
• 理論的分析には、非パラメトリック回帰技術が用いられ、回帰ヒストグラム風のボーリングと報酬関数のHölder連続性仮定が含まれる。
• レグレットを最小化するため、最適なボックスサイズBをTの関数として選択する。バイアスとバイアスのバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 方策がベースラインに近づけなければならない場合、正則化は文脈的バンディットにおける収束レートを向上させ得るか？
• RQ2 非パラメトリック文脈的バンディットにおいて、探索と正則化の最適なトレードオフは何か？
• RQ3 新しいマージン条件の下で、問題依存レートと問題独立レートはどのように相互作用するか？
• RQ4 遅いレートと速いレートの間を補間する中間収束レートを導出できるか？
• RQ5 Hölder滑らかさを持つ報酬関数の下で、正則化された文脈的バンディットのミニマックス下界は何か？

主な発見

• アルゴリズムはα ∈ (0,1)に対して、レグレットバウンドO((T / log²T)^(-β(1+α)/(2β+d)))を達成する。これは遅いレートと速いレートの間を補間する。
• 収束レートは報酬関数の滑らかさβと次元dに依存し、滑らかさが高いほど性能が向上する。
• 新しいマージン条件により、遅いレートより速く、速いレートより遅い中間レートが可能となり、問題構造に依存する。
• 古典的な非パラメトリック文脈的バンディットよりもレグレットバウンドがタイトであり、特にベースライン方策が適切に選ばれた場合に顕著である。
• Ω(T^(-2β/(2β+d)))の下界が確立され、Hölder滑らかさの下で非パラメトリック回帰のミニマックスレートと一致する。
• 分析により、正則化が収束を劣化させず、高次元または複雑な文脈においてもロバスト性を向上させ得ることが示された。