[論文レビュー] Feedback graph regret bounds for Thompson Sampling and UCB

Thodoris Lykouris, Éva Tardos+1 more|arXiv (Cornell University)|May 23, 2019

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、Thompson SamplingとUpper Confidence Bound (UCB) が、探索にグラフを明示的に使用しないにもかかわらず、グラフ構造とアームギャップパラメータを組み合わせることで、確率的マルチアームバンディットにおけるレグレットバウンドを達成することを確立している。主な結果は、期待レグレットバウンドが $\mathcal{O}\left(\max_{I\in\mathcal{I}(G)}\sum_{a\in I}\frac{\ln T \ln(kT)}{\Delta(a)}\right)$ であることで、ここで $I$ はフィードバックグラフ $G$ の独立集合であり、$\Delta(a)$ はアーム $a$ のギャップである。解析により、これらの古典的アルゴリズムは変更なしに部分的フィードバックを自然に活用することが明らかになった。

ABSTRACT

We study the stochastic multi-armed bandit problem with the graph-based feedback structure introduced by Mannor and Shamir. We analyze the performance of the two most prominent stochastic bandit algorithms, Thompson Sampling and Upper Confidence Bound (UCB), in the graph-based feedback setting. We show that these algorithms achieve regret guarantees that combine the graph structure and the gaps between the means of the arm distributions. Surprisingly this holds despite the fact that these algorithms do not explicitly use the graph structure to select arms; they observe the additional feedback but do not explore based on it. Towards this result we introduce a "layering technique" highlighting the commonalities in the two algorithms.

研究の動機と目的

• MannorとShamirが提唱したグラフベースのフィードバックバンディット設定におけるThompson SamplingとUCBの性能を分析すること。
• これらの古典的アルゴリズムが、隣接アームからの部分的フィードバックを活用することで、改善されたレグレットを達成できるかどうかを特定すること。
• アームの平均値のギャップに加え、グラフ構造（独立集合を介して）に依存するレグレットバウンドを確立すること。
• 選択ルールを変更せずに、観測されたフィードバックを統合することで、これらのアルゴリズムが向上した性能を達成できることを示すこと。

提案手法

• UCBとThompson Samplingの解析を統一するためのレイヤリング技術を導入し、共通する構造的性質を強調する。
• ギャップレベル $\phi$ に基づくアームの分割を定義し、$\mathcal{V}_\phi$ をギャップが $[2^{-\phi-1}, 2^{-\phi})$ の範囲にあるアームの集合とする。これにより、フェーズごとのレグレットを分析する。
• 集中不等式と尾確率バウンド（例：AgrawalとGoyal [AG13] からのもの）を用いて、サンプル平均が真の平均から逸脱する確率を制御する。
• 独立性とギャップに基づく議論を用いて、真の平均から遠く離れた経験的平均を持つサブオプティマルアームが選択される回数の上限を求める。
• アーム選択の初期（未飽和）段階と後期（飽和）段階を区別するための飽和閾値 $L_a$ を導入する。
• フィードバックグラフ $G$ の独立数 $\alpha$ を用いて、すべての独立集合 $I \in \mathcal{I}(G)$ に対する最悪ケースバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 Thompson SamplingとUCBは、フィードバックバンディットモデルにおいて、グラフ構造とアームギャップパラメータを組み合わせたレグレットバウンドを達成できるか？
• RQ2 UCBとThompson Samplingにグラフベースの探索が明示的に含まれていない場合、部分的フィードバックの恩恵を受けることができないのか？
• RQ3 これらのアルゴリズムのレグレットは、フィードバックグラフの独立数と最小ギャップ $\Delta(a)$ に対してどのようにスケーリングされるか？
• RQ4 レグレットバウンドに余分な対数因子が存在する理由は、アルゴリズムそのものに起因するのか、あるいは解析手法の制限に起因するのか？

主な発見

• Thompson Samplingの期待レグレットは、$\mathcal{O}\left(\max_{I\in\mathcal{I}(G)}\sum_{a\in I}\frac{\ln T \ln(kT)}{\Delta(a)}\right)$ でバウンドされ、ここで $\mathcal{I}(G)$ はフィードバックグラフ $G$ のすべての独立集合の集合である。
• レグレットバウンドは最大独立集合サイズ $\alpha$ に比例し、$\mathcal{O}(\sqrt{\alpha T \ln T \ln(kT)})$ のギャップに依存しないバウンドをもたらす。
• 解析により、UCBとThompson Samplingは選択ルールを変更せずに、隣接アームからのフィードバックを統合することで、向上した性能を達成することが示された。
• アームをギャップサイズごとに分割し、各レイヤーでの選択確率をバウンドする、新しいレイヤリング技術を介してレグレットバウンドが導出された。
• 先行研究（例：Buccapatnamら）と比較して、レグレットバウンドに余分な対数因子が存在するが、これは解析手法に起因する可能性が示された。アルゴリズム自体の性質によるものではない。
• 結果として、古典的バンディットアルゴリズムが、探索にグラフを利用しない場合でも、フィードバックグラフ構造を暗黙的に活用できることを示した。