[論文レビュー] The End of Optimism? An Asymptotic Analysis of Finite-Armed Linear Bandits

Tor Lattimore, Csaba Szepesvári|arXiv (Cornell University)|Oct 14, 2016

Advanced Bandit Algorithms Research参考文献 15被引用数 7

ひとこと要約

本稿は、有限腕線形バンディットにおけるオプティミズムに基づくおよびトマソンサンプリングアルゴリズムが、単純な設定ですら、漸近的に最適なリグレットを達成できないことを示しており、最適から任意に遠ざかっている可能性がある。本稿は、最適な漸近的リグレットに対する一致する上界と下界を確立し、情報理論的動機付けに基づく新たな戦略を提案し、これにより最適レートを達成している。

ABSTRACT

Stochastic linear bandits are a natural and simple generalisation of finite-armed bandits with numerous practical applications. Current approaches focus on generalising existing techniques for finite-armed bandits, notably the optimism principle and Thompson sampling. While prior work has mostly been in the worst-case setting, we analyse the asymptotic instance-dependent regret and show matching upper and lower bounds on what is achievable. Surprisingly, our results show that no algorithm based on optimism or Thompson sampling will ever achieve the optimal rate, and indeed, can be arbitrarily far from optimal, even in very simple cases. This is a disturbing result because these techniques are standard tools that are widely used for sequential optimisation. For example, for generalised linear bandits and reinforcement learning.

研究の動機と目的

• ガウスノイズを伴う有限腕線形バンディットにおける最適な漸近的リグレットレートを特徴づけること。
• オプティミズムとトマソンサンプリングという広く使われているアルゴリズム的原則が、この最適レートに到達する際の制限を分析すること。
• これらの標準的手法が、単純なインスタンスですら、漸近的リグレットの観点で任意に劣化している可能性があることを示すこと。
• 情報理論的原則を活用して、最適な漸近的リグレットレートを達成する新しいアルゴリズム戦略を開発すること。
• オプティミズムおよびトマソンサンプリングを越えて、より効率的で有限時間最適なアルゴリズムを設計するための基盤を提供すること。

提案手法

• 次元dに改善された依存関係を持つ自己正規化濃縮不等式を用いて、インスタンス依存の漸近的リグレットバウンドを導出する。
• d=2次元で3本の腕を持つ反例を構築し、オプティミスティックなアルゴリズムが、高い情報価値を持つ非最適腕を十分に探索できないことを示す。
• 一貫性のあるオプティミスティックなアルゴリズムが、小さなサブオプティマルギャップ（例：Δx = ε）を持つ腕を十分に頻繁に探索できないことを証明し、リグレットがΩ(1/ε)に比例することを示す。
• トマソンサンプリングを分析し、事後分布の急速な集中のため、Tₑ₂(t−1)がO(α log n)を超えると、情報価値の高い非最適腕e₂を十分にサンプリングしないことを示す。
• 情報ゲインを最適化する新しい戦略を提案し、反例において最適レートc(𝒜,θ) = 128α²を達成する。
• ラグランジュ緩和法を用いて、情報理論的基準を介して探索と活用のバランスを取る最適な腕選択方策を導出する。

実験結果

リサーチクエスチョン

• RQ1 オプティミズムに基づくアルゴリズムは、有限腕線形バンディットにおいて最適な漸近的リグレットレートに到達できるか？
• RQ2 トマソンサンプリングアルゴリズムは、ほとんど最適な情報価値の高い非最適腕を、どれほど十分に探索しないのか？
• RQ3 ガウスノイズと有限個の腕を伴う線形バンディットにおける、漸近的リグレットの根本的限界は何か？
• RQ4 オプティミズムおよびトマソンサンプリングを避ける戦略は、最適なリグレットレートに到達できるか？
• RQ5 アクション集合の構造とパrameter空間の幾何学的性質は、達成可能なリグレットレートにどのように影響するか？

主な発見

• オプティミスティックなアルゴリズムは、最適から任意に遠ざかっている可能性があり、εが小さい場合、リグレットはΩ(1/ε)に比例するが、最適リグレットは128α²で有界である。
• トマソンサンプリングも、事後分布の急速な集中のため、情報価値の高い非最適腕を十分に探索できず、劣化した探索行動を示す。
• 反例における最適な漸近的リグレットレートはc(𝒜,θ) = 128α²であり、これはオプティミズムやトマソンサンプリングが達成するリグレットよりも厳密に小さい。
• 提案された戦略は、情報ゲインを明示的に最適化することで、最適なリグレットレートを達成し、漸近的領域においてオプティミズムおよびトマソンサンプリングを上回る。
• 本稿の分析は、Abbasi-Yadkoriら（2011）の自己正規化濃縮バウンドを、漸近的領域でdの要因改善している。
• 結果は、標準的なアルゴリズム的原則（オプティミズムおよびトマソンサンプリング）が、単純な設定ですら、線形バンディットにおける漸近的最適性を達成する上で根本的に欠陥を有することを示している。