[論文レビュー] Improved Optimistic Algorithms for Logistic Bandits

Louis Faury, Marc Abeille+2 more|arXiv (Cornell University)|Feb 18, 2020

Advanced Bandit Algorithms Research参考文献 18被引用数 10

ひとこと要約

本稿では、ロジスティックバンディットに対する新たな楽観的アルゴリズムを提案し、$ ilde{ olimits}(dackslash sqrt{T} + \kappa)$ のレグレットバウンドを達成する。これにより、先行研究で問題視されていた $ olimits^{1/2}$ 依存性が解消される。非線形性の精密な解析と、自己正規化マルティングルに対する新しいベルンシュタイン型不等式を導入することで、主項に問題依存定数 $ olimits$ を含めないよりタイトなレグレット保証が達成される。

ABSTRACT

The generalized linear bandit framework has attracted a lot of attention in recent years by extending the well-understood linear setting and allowing to model richer reward structures. It notably covers the logistic model, widely used when rewards are binary. For logistic bandits, the frequentist regret guarantees of existing algorithms are $ ilde{\mathcal{O}}(κ\sqrt{T})$, where $κ$ is a problem-dependent constant. Unfortunately, $κ$ can be arbitrarily large as it scales exponentially with the size of the decision set. This may lead to significantly loose regret bounds and poor empirical performance. In this work, we study the logistic bandit with a focus on the prohibitive dependencies introduced by $κ$. We propose a new optimistic algorithm based on a finer examination of the non-linearities of the reward function. We show that it enjoys a $ ilde{\mathcal{O}}(\sqrt{T})$ regret with no dependency in $κ$, but for a second order term. Our analysis is based on a new tail-inequality for self-normalized martingales, of independent interest.

研究の動機と目的

• 問題依存定数 $\kappa$ が大きいことによる、一般化線形バンディットアルゴリズムのロジスティックバンディット設定下での劣悪なレグレット性能を是正すること。
• シグモイドリンク関数の非線形性に起因する $ olimits(\kappa\sqrt{T})$ のレグレットバウンドを克服すること。
• 主項に $\kappa$ の依存性を最小限に抑えた、新たな楽観的アルゴリズムの開発。
• 自己正規化マルティングルに対する新しい尾部不等式の導出。これは独立した理論的意義を有する。
• Filippiら（2010）の、GLM-UCBの $\kappa$ 依存性の改善に関する未解決の予想に答えること。

提案手法

• 報酬関数の曲率に関する精密な解析を通じて、ロジスティックリンク関数の非線形構造を反映した、変更された楽観的アルゴリズムの提案。
• 非線形性下での推定パラメータの逸脱を制御するための、自己正規化マルティングルに対する新しいベルンシュタイン型不等式の導入。
• 対数尤度のヘッセ行列に基づく信頼集合の構築により、パラメータ推定の不確実性をより正確に捉える。
• 楕円ポテンシャル補題を活用し、特徴ベクトルのノルムを逆共分散行列で重み付けした項にレグレットを分解する手法の適用。
• 信頼集合の幅を制御するパラメータ $\gamma_T(\delta)$ を導入し、$T$ と $d$ の対数項に合わせて調整。
• 2次項を用いて $\kappa$ の依存性を吸収し、主項の $\sqrt{T}$ 項に現れないようにすることで、$\kappa$ を低次の項に制限。

実験結果

リサーチクエスチョン

• RQ1 ロジスティックバンディットの楽観的アルゴリズムにおけるレグレットの $\kappa$ 依存性を、主項の $\sqrt{T}$ 項から完全に除去することは可能か？
• RQ2 ロジスティックバンディットにおいて、$\tilde{\mathcal{O}}(d\sqrt{T} + \kappa)$ のレグレットバウンドを達成することは可能か？ それとも $\tilde{\mathcal{O}}(\kappa\sqrt{T})$ に留まるか？
• RQ3 ロジスティックリンク関数の非線形挙動をよりよく捉える新しいマルティングル集中不等式を導出可能か？
• RQ4 Filippiら（2010）の予想である、修正版GLM-UCBが $\kappa^{1/2}$ スケーリングで改善されたレグレットスケーリングを達成できるか？
• RQ5 分析を拡張し、$\kappa$ が2次項にのみ現れることを示すことは可能か？ これにより、高曲率設定下での実用的性能が著しく向上する。

主な発見

• 提案アルゴリズムは、$\tilde{\mathcal{O}}(d\sqrt{T} + \kappa)$ のレグレットバウンドを達成し、先行研究と比較して主項から $\kappa^{1/2}$ 要因を除去した。
• 本稿は、Filippiら（2010）の予想を裏付ける結果を示し、修正版GLM-UCBが $\tilde{\mathcal{O}}(d\sqrt{\kappa T})$ のレグレットを達成できることを示した。これは標準の $\tilde{\mathcal{O}}(\kappa\sqrt{T})$ バウンドを改善する。
• 自己正規化マルティングルに対する新しいベルンシュタイン型不等式が導出され、これはロジスティックモデルにおける非線形推定誤差の制御に不可欠である。
• 分析により、$\kappa$ の依存性が2次項に限定されることを示した。これは、高曲率状況下でのアルゴリズムの実用的性能を著しく向上させる。
• $\lambda = d\log T$ のとき、信頼集合幅パラメータ $\gamma_T(\delta)$ は $\mathcal{O}(d^{1/2}\log^{1/2}T)$ にスケーリングされ、信頼集合サイズが対数的増加を保証する。
• レグレットバウンドは主項において意思決定集合の直径に依存せず、これにより、$\kappa$ が集合サイズとともに指数的に増加するという、先行研究の主要な制限が解消された。