[論文レビュー] Efficient and Robust Algorithms for Adversarial Linear Contextual Bandits

Gergely Neu, Julia Olkhovskaya|arXiv (Cornell University)|Feb 1, 2020

Advanced Bandit Algorithms Research参考文献 51被引用数 4

ひとこと要約

本稿では、i.i.d. コンテキストを前提とした敵対的線形コンテキストバンディット問題に対して、計算効率の高い2つのアルゴリズム—RealLinExp3 と RobustLinExp3—を提案する。RealLinExp3 は $ frac{1}{2}$ に近い $ frac{1}{2}$ のレグレットバウンド $ frac{1}{2}$ を達成し、既知の最良の下界と一致する。一方、RobustLinExp3 はモデルの不適合に対してロバスト性を保証し、$ frac{1}{2}$ のバウンド $ frac{1}{2}$ を達成する。これは、この設定に対して初めてのこのような保証である。

ABSTRACT

We consider an adversarial variant of the classic $K$-armed linear contextual bandit problem where the sequence of loss functions associated with each arm are allowed to change without restriction over time. Under the assumption that the $d$-dimensional contexts are generated i.i.d.~at random from a known distributions, we develop computationally efficient algorithms based on the classic Exp3 algorithm. Our first algorithm, RealLinExp3, is shown to achieve a regret guarantee of $\widetilde{O}(\sqrt{KdT})$ over $T$ rounds, which matches the best available bound for this problem. Our second algorithm, RobustLinExp3, is shown to be robust to misspecification, in that it achieves a regret bound of $\widetilde{O}((Kd)^{1/3}T^{2/3}) + \varepsilon \sqrt{d} T$ if the true reward function is linear up to an additive nonlinear error uniformly bounded in absolute value by $\varepsilon$. To our knowledge, our performance guarantees constitute the very first results on this problem setting.

研究の動機と目的

• 文献におけるギャップを埋めるために、敵対的線形コンテキストバンディット問題に対して、計算的に効率的で強力な性能保証を持つアルゴリズムの設計を目的とする。
• 固定または確率的に生成される損失関数を仮定する従来のアルゴリズムの限界を解決し、モデルの不適合に対して感受性の高い問題を扱う。
• 真の報酬関数が仮定された線形モデルからわずかに逸脱しても、依然として強力なレグレットバウンドを維持する手法の開発を目的とする。
• 損失関数が敵対的であり、モデルが不適合である可能性が高い現実世界の設定において、コンテキストバンディットアルゴリズムの実用的導入を可能にする。
• i.i.d. コンテキスト仮定下で、敵対的線形コンテキストバンディット問題に対する最初の形式的性能保証を確立すること。

提案手法

• コンテキストの i.i.d. 性質と、コンテキストと損失の間の統計的独立性を活用して、固定行動集合を持つ補助バンディット問題の集合にコンテキストバンディット問題を還元する。
• RealLinExp3 は、文脈固有の損失推定に不偏推定量を用いた Exp3 アルゴリズムを採用し、$T$ ラウンドにわたる効率的なレグレット最小化を実現する。
• RobustLinExp3 は、$\varepsilon$ で有界な非線形誤差を扱うためのロバスト性項を組み込み、損失推定戦略を修正することで、不適合状況下でも性能を維持する。
• 行列幾何的再サンプリング（MGR）は、直接的な逆共分散行列の逆行列計算の高コストを回避する、計算的に効率的な新しい手法として導入される。
• 分析は、Lemma 4.1 に依拠しており、コンテキスト設定におけるレグレットと補助バンディット問題における期待レグレットとの関係を示し、標準的なバンディット解析への還元を可能にする。
• アルゴリズムは計算的に効率的かつスケーラブルに設計されており、コンテキスト分布と損失構造に関する弱い仮定の下で理論的保証が得られる。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. コンテキスト仮定下で、最小最大最適なレグレットを達成する計算的に効率的なアルゴリズムを設計できるか？
• RQ2 真の報酬関数が $\varepsilon$-有界な非線形誤差まで線形である場合に、ロバストな性能保証を達成できるか？
• RQ3 敵対的損失系列が存在する中で、依然としてコンテキスト情報を活用しつつ、強力なレグレットバウンドを維持することは可能か？
• RQ4 高い計算コストを伴わない方法で、敵対的線形バンディットにおける逆共分散行列の推定を実現できるか？
• RQ5 この設定において、レグレット性能とモデルの不適合に対するロバスト性の間の根本的トレードオフは何か？

主な発見

• RealLinExp3 は $T$ ラウンドで $\widetilde{O}(\sqrt{KdT})$ のレグレットバウンドを達成し、この問題に対する既知の最良の下界と一致するため、最小最大最適性が確立される。
• RobustLinExp3 は、真の報酬関数が $\varepsilon$-有界誤差まで線形である場合に、$\widetilde{O}((Kd)^{1/3}T^{2/3}) + \varepsilon\sqrt{d}T$ のレグレットバウンドを達成する。これは、この設定に対して初めてのロバスト性保証である。
• 提案されたアルゴリズムは計算的に効率的であり、損失系列の事前知識を必要としないため、リアルタイム意思決定応用に適している。
• 行列幾何的再サンプリング（MGR）技術は、直接的な逆共分散推定の代替としてスケーラブルであり、確率的最適化における勾配降下ダイナミクスと関連づけられる。
• 理論的分析により、コンテキスト生成に関する仮定なしにはサブ線形レグレットが達成不可能であることが示され、i.i.d. 仮定が取り扱いやすさにとって自然かつ必要不可欠であることが判明した。
• Lemma 4.1 を通じた補助バンディット問題への還元により、明確な解析が可能となり、ポリシークラス最適化ではなく損失関数推定に基づくコンテキストバンディットアルゴリズムの新たな方向性が開かれる。