[論文レビュー] On the Performance of Thompson Sampling on Logistic Bandits

Shi Dong, Tengyu Ma+1 more|arXiv (Cornell University)|May 12, 2019

Advanced Bandit Algorithms Research参考文献 16被引用数 4

ひとこと要約

本稿は、行動集合とパrameter集合が同一であるという条件下で、ロジスティックバンディットにおけるトフスンサンプリングのベイジアンレグレットバウンドを $\tilde{O}(d\sqrt{T})$ として確立し、スロープパラメータ $\beta$ に依存しないことを示している。さらに、破壊性次元 $\eta$ と最悪ケース最適オッズ比 $\lambda$ を用いてこの結果を一般化し、レグレットが $\tilde{O}(\sqrt{d\eta T}/\lambda)$ のスケーリングに従うことを示している。また、$\eta$ や $\lambda$ に依存しない $T$ の多項式より小さいレグレットを達成できるアルゴリズムは存在しないことを証明している。解析では、ロジスティックバンディットに特化した新しい情報比バウンドを導入し、以前の境界における $\beta$ 依存性に関する長年の未解決問題を解消した。

ABSTRACT

We study the logistic bandit, in which rewards are binary with success probability $\exp(βa^ op θ) / (1 + \exp(βa^ op θ))$ and actions $a$ and coefficients $θ$ are within the $d$-dimensional unit ball. While prior regret bounds for algorithms that address the logistic bandit exhibit exponential dependence on the slope parameter $β$, we establish a regret bound for Thompson sampling that is independent of $β$. Specifically, we establish that, when the set of feasible actions is identical to the set of possible coefficient vectors, the Bayesian regret of Thompson sampling is $ ilde{O}(d\sqrt{T})$. We also establish a $ ilde{O}(\sqrt{dηT}/λ)$ bound that applies more broadly, where $λ$ is the worst-case optimal log-odds and $η$ is the "fragility dimension," a new statistic we define to capture the degree to which an optimal action for one model fails to satisfice for others. We demonstrate that the fragility dimension plays an essential role by showing that, for any $ε> 0$, no algorithm can achieve $\mathrm{poly}(d, 1/λ)\cdot T^{1-ε}$ regret.

研究の動機と目的

• ロジスティックバンディットにおけるトフスンサンプリングが、以前の境界が指数的依存性を示していたスロープパラメータ $\beta$ に依存しないレグレットを達成できるかどうかという未解決問題を解消すること。
• 線形および独立バンディットの既存の研究を拡張する、ロジスティックバンディットにおける情報理論的境界を定める新しい分析技術の開発。
• 最適行動のモデル間での感受性を捉える新しい統計量である破壊性次元 $\eta$ の定義と分析を行い、それがレグレット境界において本質的な役割を果たすことを示すこと。
• タイトなレグレット下界を確立し、任意の $\epsilon > 0$ に対して $\eta$ や $\lambda$ に依存しない $T^{1-\epsilon}$ のレグレットを達成できるアルゴリズムは存在しないことを証明すること。

提案手法

• ロジスティックリンク関数の構造とパrameter空間および行動空間の幾何学的性質を活用し、ロジスティックバンディットに特化した新しい情報比バウンドを提案する。
• あるモデルにおける最適行動が他のモデルで成功確率 $\leq 50\%$ を示すようなモデルの最大数として、破壊性次元 $\eta$ を導入する。
• ベイジアンレグレットフレームワークを用い、行動と真のパラメータ $\theta$ 間の相互情報量の精密な分析を通じて境界を導出する。濃度および反濃度の性質を活用する。
• 情報比と行動-パラメータペアのオッズ比を関連付ける重要な不等式を確立し、$\mathcal{A} = \Theta$ の場合に $\tilde{O}(d\sqrt{T})$ のバウンドが得られることを示す。
• $\mathcal{A} \neq \Theta$ の一般ケースに一般化する際には、$\lambda$（最悪ケース最適オッズ比）を導入し、$\tilde{O}(\sqrt{d\eta T}/\lambda)$ のスケーリングに従うレグレットバウンドを示す。
• 球面コードと内積制約を用いた構成的下界の議論により、$\eta$ が特定の状況下で $d$ に対して指数関数的に増加しうることを示し、また、これは $T$ の多項式より小さいレグレットを達成するには避けられないことを見出す。

実験結果

リサーチクエスチョン

• RQ1 ロジスティックバンディットにおけるトフスンサンプリングが、以前の境界が指数的依存性を示していたスロープパラメータ $\beta$ に依存しないレグレットを達成できるか。
• RQ2 破壊性次元 $\eta$ がロジスティックバンディットにおけるレグレットの根本的限界を決定する上で果たす役割は何か。
• RQ3 任意の $\epsilon > 0$ に対して、$\eta$ や $\lambda$ に依存しない $T^{1-\epsilon}$ のレグレットを達成することは可能か。
• RQ4 行動集合とパラメータ集合の構造が、特に $\mathcal{A} \neq \Theta$ の場合に、ロジスティックバンディットにおける学習の難易度にどのように影響するか。
• RQ5 情報比フレームワークは、ロジスティックバンディットのような非線形バンディットに拡張可能か。また、どのような新たな技術的課題が生じるか。

主な発見

• 行動集合 $\mathcal{A}$ がパラメータ集合 $\Theta$ と等しい場合、トフスンサンプリングはスロープパラメータ $\beta$ に依存しないベイジアンレグレットバウンド $\tilde{O}(d\sqrt{T})$ を達成する。
• $\mathcal{A} \neq \Theta$ の一般ケースでは、レグレットが $\tilde{O}(\sqrt{d\eta T}/\lambda)$ に抑えられることを示し、ここで $\eta$ は破壊性次元、$\lambda$ は最悪ケース最適オッズ比である。
• 本稿では、任意の $\epsilon > 0$ に対して $\mathrm{poly}(d,1/\lambda) \cdot T^{1-\epsilon}$ のレグレットを達成できるアルゴリズムは存在しないことを証明し、$\eta$ がレグレットバウンドにおいて本質的なパラメータであることを示した。
• 破壊性次元 $\eta$ は、特定の設定下では $d$ に対して指数関数的に増加しうる（特に最悪ケース最適オッズ比 $\iota = 0$ の場合）、が、大多数の実用的状況では $d$ に対して線形に増加すると予想される。
• 解析により、行動集合から行動を削除すると問題の難易度が上昇することが判明した。具体的には、行動を削除することで $\eta$ が増加する反例が提示され、行動空間が小さくなっても学習が難しくなることが示された。
• 本研究で開発された情報比バウンド技術は、特に指数型分布族の報酬を持つ非線形バンディット問題の解析に新たな道筋を提供する。