[論文レビュー] Analysis of Thompson Sampling for Graphical Bandits Without the Graphs

Fang Liu, Zizhan Zheng+1 more|arXiv (Cornell University)|May 23, 2018

Advanced Bandit Algorithms Research参考文献 14被引用数 6

ひとこと要約

この論文は、フィードバックグラフの知識がなくても、グラフィカルバンドイットにおけるトマソンサンプリングを分析し、標準的なトマソンサンプリング（TS-N）が非有向グラフの場合に最適なリグレット $ ilde{O}(eta_0(G)T)$ を達成することを示している。有向グラフの場合には近似的に最適な境界が得られる。改良版のTS-Uは、トマソンサンプリングと一様探索を組み合わせることで、有向設定においてもグラフの知識がなくても最適なリグレットを対数的要因の範囲で達成でき、かつ効率的に実装可能である。

ABSTRACT

We study multi-armed bandit problems with graph feedback, in which the decision maker is allowed to observe the neighboring actions of the chosen action, in a setting where the graph may vary over time and is never fully revealed to the decision maker. We show that when the feedback graphs are undirected, the original Thompson Sampling achieves the optimal (within logarithmic factors) regret $ ilde{O}\left(\sqrt{β_0(G)T} ight)$ over time horizon $T$, where $β_0(G)$ is the average independence number of the latent graphs. To the best of our knowledge, this is the first result showing that the original Thompson Sampling is optimal for graphical bandits in the undirected setting. A slightly weaker regret bound of Thompson Sampling in the directed setting is also presented. To fill this gap, we propose a variant of Thompson Sampling, that attains the optimal regret in the directed setting within a logarithmic factor. Both algorithms can be implemented efficiently and do not require the knowledge of the feedback graphs at any time.

研究の動機と目的

• フィードバックグラフが未知で時間的に変化する状況におけるグラフィカルバンドイットにおけるトマソンサンプリングの分析。
• 標準的なトマソンサンプリングが性能を発揮しない有向フィードバックグラフにおけるリグレット性能のギャップを埋める。
• グラフの知識がなくても有向設定で最適なリグレットを達成するトマソンサンプリングの変種を設計する。
• グラフのプライバシー制限やアクセス制限がある実世界の応用に適した実用的で効率的なアルゴリズムを提供する。
• 行動の組合せ的グラフ特性（平均独立数 $\beta_0(G)$ など）にのみ依存する理論的リグレット境界を確立する。

提案手法

• フィードバックグラフの知識がなくても、行動の報酬値を事後分布からサンプリングし、隣接する行動からの観測報酬に基づいて更新する標準的なトマソンサンプリング（TS-N）を提案する。
• 確率 $\epsilon_t$ で一様に行動を選択することで探索を保証する、ハイブリッドアルゴリズムTS-Uを導入する。これにより、有向グラフにおける性能が向上する。
• 非有向フィードバックグラフにおけるリグレットの上限を求めるために、平均独立数 $\beta_0(G)$ を主要なグラフの複雑さの指標として用いる。
• 集中不等式とリグレット分解技術を用いて、累積リグレットの高確率境界を導出する。
• アロンら（2014）の補題3の変種を用い、結果を非有向グラフにおける支配集合へ拡張する。
• Erdős-Rényiグラフと時間不変構造を用いた数値実験を通じて、実効的性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 標準的なトマソンサンプリングは、フィードバックグラフの知識がなくても非有向グラフィカルバンドイットで最適なリグレットを達成できるか？
• RQ2 なぜ標準的なトマソンサンプリングは有向グラフィカルバンドイットで最適なリグレットを達成できないのか？
• RQ3 一様探索を組み合わせた改良版トマソンサンプリングは、有向グラフィカルバンドイットで最適なリグレットを回復できるか？
• RQ4 グラフの知識が全くない状況（無知状態）におけるトマソンサンプリングが達成可能な最もタイトなリグレット境界は何か？
• RQ5 時間変動型および時間不変型のフィードバックグラフにおいて、トマソンサンプリングの性能はUCB-Nおよびコーエンのアルゴリズムと比べてどのように異なるか？

主な発見

• トマソンサンプリング（TS-N）は、非有向グラフィカルバンドイット設定において、$\tilde{O}(\sqrt{\beta_0(G)T})$ のリグレット境界を達成しており、これは対数的要因を除いて最適である。
• 有向設定では、標準的なトマソンサンプリングが $O(\sqrt{mas(G)T\log K})$ のリグレットを達成するが、これは最適ではない。
• 提案されたTS-U変種は、トマソンサンプリングと一様サンプリングを組み合わせており、有向ケースで $O(\sqrt{\beta_0(G)T\log K\log(KT)})$ のリグレットを達成する。これは対数的要因の範囲で最適である。
• 数値的結果から、TS-NとTS-Uは、時間不変および時間変動型のグラフ設定において、UCB-Nおよびコーエンのアルゴリズムを上回る性能を示した。
• リグレット境界は $\beta_0(G)$ に依存するが、行動数 $K$ に依存しないため、大規模な行動集合に対してもスケーラブルである。
• 分析により、情報指向サンプリングアルゴリズム（IDS-NおよびIDSN-LP）のインフォームド設定におけるリグレット境界も改善された。