[論文レビュー] Fighting Bandits with a New Kind of Smoothness

Jacob Abernethy, Chansoo Lee+1 more|arXiv (Cornell University)|Dec 14, 2015

Advanced Bandit Algorithms Research参考文献 32被引用数 20

ひとこと要約

本稿では、敵対的マルチアームバンディットにおける正則化法と摂動法の分析を統一する新しい滑らかさの性質—微分的一致性—を導入する。Tsallisエントロピー正則化が最適な $\Theta(\sqrt{TN})$ のリグレットを達成することを証明し、有界なハザードレートを持つ分布（例：Gumbel、Weibull、パレート、ガンマ）を用いた摂動ベースのアルゴリズムが、近似的に最適な $O(\sqrt{TN\log N})$ のリグレットを達成することを示す。

ABSTRACT

We define a novel family of algorithms for the adversarial multi-armed bandit problem, and provide a simple analysis technique based on convex smoothing. We prove two main results. First, we show that regularization via the \emph{Tsallis entropy}, which includes EXP3 as a special case, achieves the $Θ(\sqrt{TN})$ minimax regret. Second, we show that a wide class of perturbation methods achieve a near-optimal regret as low as $O(\sqrt{TN \log N})$ if the perturbation distribution has a bounded hazard rate. For example, the Gumbel, Weibull, Frechet, Pareto, and Gamma distributions all satisfy this key property.

研究の動機と目的

• 新しい滑らかさの性質、微分的一致性を用いて、敵対的マルチアームバンディットにおける正則化法と摂動法の分析を統一すること。
• Tsallisエントロピー正則化が最小最大リグレットレート $\Theta(\sqrt{TN})$ を達成することを確立すること。
• 摂動ベースの手法が $O(\sqrt{TN\log N})$ のリグレットを達成するための十分条件である「有界なハザードレート」を同定すること。
• EXP3の一般化と、より広い分布およびアルゴリズムのクラスへのその分析の拡張。
• 摂動ベースの手法において $O(\sqrt{T})$ のリグレットを達成するため、有界なハザードレートが必要かつ十分であると仮説を立てること。

提案手法

• FTRLおよびFTPLフレームワークの分析を統一するため、微分的一致性と呼ばれる新しい滑らかさの性質を提案する。
• 凸平滑化を用いて、摂動を含む正則化目的関数を持つ勾配上昇予測アルゴリズム（GBPA）を分析する。
• 定理2.3のヘッセ行列に基づく分析を適用し、摂動分布のハザードレートを用いて発散ペナルティを評価する。
• 全リグレットを過大評価ペナルティと発散ペナルティに分解し、後者をハザードレートの上界によって制御する。
• 極値理論を用いて、Gumbel、Frechet、Weibull、パレート、ガンマなどの分布における $N$ 個の独立同分布摂動の期待最大値を計算する。
• 分散低減と有限標本性能の向上のため、幾何的リサンプリングを用いる。リサンプリングパラメータとして $M = \sqrt{NT}$ を使用する。

実験結果

リサーチクエスチョン

• RQ1 敵対的バンディットにおける正則化法と摂動法の両方の分析を統一するフレームワークを開発できるか？
• RQ2 Tsallisエントロピー正則化は最小最大リグレットレート $\Theta(\sqrt{TN})$ を達成するか？
• RQ3 摂動分布のどの性質が近似的に最適な $O(\sqrt{TN\log N})$ のリグレットを保証するか？
• RQ4 摂動ベースの手法において $O(\sqrt{T})$ のリグレットを達成するため、有界なハザードレートが必要かつ十分であるか？
• RQ5 Gumbel、Weibull、ガンマなどの有名な分布の広いクラスに、分析を拡張できるか？

主な発見

• Tsallisエントロピー正則化は最小最大リグレットレート $\Theta(\sqrt{TN})$ を達成し、AudibertとBubeck（2009）の下界と一致するが、定数がよりタイトである。
• 有界なハザードレートを持つ分布を用いた摂動ベースのアルゴリズムは、$O(\sqrt{TN\log N})$ のリグレットを達成する。これにはGumbel、Weibull、Frechet、パレート、ガンマ分布が含まれる。
• リグレット境界における発散ペナルティは、1ラウンドあたり $N(\sup h_{\mathcal{D}})$ で上界が与えられ、ここで $h_{\mathcal{D}}$ は摂動分布のハザードレートである。
• Gumbel分布（$\mu=1, \beta=1$）において、$N$ 個の独立同分布変数の期待最大値は $\log N + \gamma_0$ であり、これにより $O(\sqrt{TN\log N})$ のリグレット項が寄与する。
• 分析により、ハザードレートが有界でない分布（例：正規分布）は、特定の敵対的シーケンスでは線形リグレットを被る可能性があることが示され、有界なハザードレートが重要な条件であることが示唆される。
• 有界なハザードレートが、摂動ベースの手法において $O(\sqrt{T})$ のリグレットを達成するための必要かつ十分条件であるという仮説は、Frechetやパレート分布などに対する数値的証拠によって支持されている。