[論文レビュー] OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits

Niladri S. Chatterji, Vidya Muthukumar+1 more|arXiv (Cornell University)|May 24, 2019

Advanced Bandit Algorithms Research被引用数 12

ひとこと要約

OSOMは、報酬構造の事前知識がなくても、マルチアームバンディットおよび線形コンテキストバンディットの両設定において、計算的に効率的かつ最適なリグレットバウンドを同時に達成するアルゴリズムである。OSOMは、単純なアーム選択方針と線形コンテキスト方針の間を適応的に選択し、マルチアーム設定では問題依存のO(log n)リグレット、線形設定では確率的コンテキスト仮定の下でミニマックス最適なÕ((√d + √K)√n)リグレットを達成する。

ABSTRACT

We consider the stochastic linear (multi-armed) contextual bandit problem with the possibility of hidden simple multi-armed bandit structure in which the rewards are independent of the contextual information. Algorithms that are designed solely for one of the regimes are known to be sub-optimal for the alternate regime. We design a single computationally efficient algorithm that simultaneously obtains problem-dependent optimal regret rates in the simple multi-armed bandit regime and minimax optimal regret rates in the linear contextual bandit regime, without knowing a priori which of the two models generates the rewards. These results are proved under the condition of stochasticity of contextual information over multiple rounds. Our results should be viewed as a step towards principled data-dependent policy class selection for contextual bandits.

研究の動機と目的

• 報酬構造の事前知識がなくても、単純なマルチアームバンディットおよび線形コンテキストバンディットの両設定において最適なリグレットを達成する1つのアルゴリズムを設計すること。
• 既存のアルゴリズムがその設計意図とは異なる設定に適用された際に劣化するという限界を解消すること。
• データ駆動の複雑さに基づいてコンテキストバンディットにおける方針クラスの適応的選択を可能にし、多様な報酬生成モデル全体のパフォーマンスを向上させること。
• 確率的コンテキスト仮定の下で、両設定におけるリグレット最適性の理論的保証を提供すること。

提案手法

• OSOMは、自信集合と不確実性に対する楽観主義に基づいて、UCB風のアーム選択方針と線形コンテキスト方針の間を動的に選択するモデル選択メカニズムを採用する。
• 線形パラメータθ*の別個の自信集合を維持し、自己正規化された集中不等式を用いて推定誤差を制限する。
• 推定された線形効果の大きさとθ*の不確実性の比に基づいて、方針間のスイッチングをしきい値制御する。
• 行列フリードマンの不等式と行列式の成長バウンドを用いて、自信集合のサイズを制御し、パラメータ推定の安定性を確保する。
• 線形および非線形成分の両方を考慮する統一フレームワークを用いて、両設定におけるリグレット解析を統合する。
• θ* = 0のとき線形モデルがマルチアームバンディットに簡略化されることに着目し、OSOMがこの状況を自動的に適応できることを活用する。

実験結果

リサーチクエスチョン

• RQ1 1つのアルゴリズムが、マルチアームバンディット設定では問題依存の最適リグレットを達成し、線形コンテキストバンディット設定ではミニマックス最適リグレットを達成できるか？
• RQ2 報酬生成プロセスの真の複雑さを事前知識なしに適応できる、計算的に効率的なアルゴリズムを設計することは可能か？
• RQ3 自信集合とモデル選択をどのように統合すれば、両設定で最適なリグレットを保証できるか？
• RQ4 確率的コンテキスト仮定の下で、このような適応的アルゴリズムにどのような理論的保証を提供できるか？
• RQ5 マルチアーム設定ではO(log n)リグレット、線形設定ではÕ((√d + √K)√n)リグレットを同時に達成できるか？

主な発見

• OSOMはマルチアームバンディット設定でO(log n)の問題依存リグレットを達成し、報酬がコンテキストに依存しない場合のUCBの最適レートと一致する。
• 線形コンテキストバンディット設定では、OSOMはミニマックス最適リグレットÕ((√d + √K)√n)を達成し、LinUCBやOFULの最高水準のバウンドと一致する。
• アルゴリズムは、データがマルチアームモデルか線形モデルに従うかの事前知識がなくても、自動的にその報酬構造に適応する。
• 理論的解析により、θ*における大きな推定誤差の確率が集中不等式によってバウンドされ、耐障害性が保証される。
• 行列式の成長は補題14により制御され、対数行列式の成長が制限され、自信集合の構築を支援する。
• コンテキストが確率的に生成され、悪条件でないという仮定の下で、アルゴリズムのリグレットは両設定で最適であることが証明されている。