[論文レビュー] Linearly Parameterized Bandits

Paat Rusmevichientong, John N. Tsitsiklis|arXiv (Cornell University)|Dec 18, 2008

Advanced Bandit Algorithms Research参考文献 37被引用数 5

ひとこと要約

本稿は、r次元の確率的ベクトルZの線形関数として報酬が与えられる線形パラメータ化されたバンディット（r ≥ 2）を研究する。本稿では、ユニット球面上の腕に対してΘ(r√T)のレグレットとベイズリスクを達成する段階的探索・活用方策を提案し、一般の腕集合に対してはO(r√T log^{3/2}T)の近似的に最適なレグレットを持つ方策を提示。高次元線形バンディット設定における根本的下界と最適スケーリングを確立する。

ABSTRACT

We consider bandit problems involving a large (possibly infinite) collection of arms, in which the expected reward of each arm is a linear function of an $r$-dimensional random vector $\mathbf{Z} \in \mathbb{R}^r$, where $r \geq 2$. The objective is to minimize the cumulative regret and Bayes risk. When the set of arms corresponds to the unit sphere, we prove that the regret and Bayes risk is of order $Θ(r \sqrt{T})$, by establishing a lower bound for an arbitrary policy, and showing that a matching upper bound is obtained through a policy that alternates between exploration and exploitation phases. The phase-based policy is also shown to be effective if the set of arms satisfies a strong convexity condition. For the case of a general set of arms, we describe a near-optimal policy whose regret and Bayes risk admit upper bounds of the form $O(r \sqrt{T} \log^{3/2} T)$.

研究の動機と目的

• r ≥ 2次元の潜在的ベクトルZに線形に依存する報酬を持つ、腕の数が多数または無限に及ぶマルチアームバンディットの課題に取り組むこと。腕の数に比例する線形レグレットを回避する。
• 腕の報酬が独立であるモデルの限界を克服し、線形構造を通じて腕の相関を活用することで、腕の数に比例する線形レグレットを回避する。
• 線形パラメータ化バンディットにおけるレグレットとベイズリスクのタイトな下界を確立し、Ω(r√T)の成長を示す。これはr=1のときのO(log T)の境界と比べて顕著に高い。
• 探索と活用を繰り返す段階的方策を設計し、ユニット球面の場合に最適なΘ(r√T)のレグレットを達成することを証明する。
• 一般の腕集合への分析を拡張し、O(r√T log^{3/2}T)のレグレットを持つ近似的に最適な方策を提示。多面体集合における対数因子の低減に関する未解決問題を特定する。

提案手法

• 腕の報酬をX_t^u = u'Z + W_t^uとしてモデル化。ここでu ∈ ℝ^rは腕ベクトル、Z ∈ ℝ^rは観測不能な確率的ベクトル、W_t^uは平均0でサブガウスチールのノイズ変数である。
• 探索（Zの推定のためのデータ収集）と活用（現在のZ推定に基づく最良腕の選択）を繰り返す段階的方策を採用。段階の長さを徐々に延長する。
• 集中不等式とマルティングルールの議論を用いて、Zの推定誤差を制御し、探索段階における確率的高確率なレグレット制御を保証する。
• 腕集合の強い凸性（例：ユニット球面）を活用し、フィッシャー情報行列の下界を導出し、タイトなレグレット特徴付けを可能にする。
• 一般集合に対しては、適応的サンプリングを伴う均一な探索方策を用い、腕空間の十分なカバレッジを確保。これによりO(r√T log^{3/2}T)のレグレットを達成する。
• 情報理論的議論とクラメール・ラオ不等式を用いて下界を導出し、ユニット球面の場合に任意の方策が少なくともΩ(r√T)のレグレットを被る必要があることを示す。

実験結果

リサーチクエスチョン

• RQ1 r ≥ 2次元の線形パラメータ化バンディットにおいて、潜在的確率的ベクトルに線形に依存する報酬を持つ場合、根本的下界（レグレットとベイズリスク）は何か？
• RQ2 腕集合がユニット球面の場合、段階的方策が最適なレグレットスケーリングΘ(r√T)を達成できるか？グリーディー方策や均一方策と比べてどのように異なるか？
• RQ3 腕の数が多数または無限に及ぶ一般の腕集合（例：多面体集合）において、レグレットはどのようにスケーリングされるか？腕の数に依存しないレグレットを達成できるか？
• RQ4 強い凸性がタイトなレグレット境界の達成に果たす役割は何か？最適な探索戦略の設計にどのように影響するか？
• RQ5 多面体腕集合におけるレグレット境界O(r√T log^{3/2}T)の対数因子を削除できるか、それとも構造的に必然的か？

主な発見

• ユニット球面腕集合の場合、累積レグレットとベイズリスクはΘ(r√T)であり、任意の方策に対してΩ(r√T)のタイトな下界を確立する。
• 探索と活用を繰り返す段階的方策は、ユニット球面において最適なΘ(r√T)のレグレット境界を達成し、下界と一致する。
• 段階的方策は、強い凸性条件を満たす任意の腕集合に対して有効であり、各探索ステップでの情報量の下界が保証される。
• 一般の腕集合に対しては、O(r√T log^{3/2}T)のレグレットとベイズリスクを有する近似的に最適な方策を提示。これは非常に近いが、対数因子を含む。
• LaiとRobbinsのアルゴリズムを用いた多面体集合のレグレット境界はO(|ℰ(𝒰_r)| log T / Δ_min)とスケーリングされ、極点数がrの指数関数的増加を示すと実用的でなくなる。
• r ≥ 2の場合の根本的レグレット下界Ω(r√T)は、r=1のときのO(log T)の境界と対照的であり、高次元線形バンディットにおける困難さの増大を強調する。