[論文レビュー] An efficient high-probability algorithm for Linear Bandits

Gábor Braun, Sebastian Pokutta|arXiv (Cornell University)|Oct 6, 2016

Advanced Bandit Algorithms Research参考文献 14被引用数 4

ひとこと要約

本稿では、適応的敵対的環境下における線形バンディットにおいて、CombEXPアルゴリズムの高確率的レグレットバウンドを $O(T^{2/3})$ として提示する。この手法は、計算効率を維持するため線形最適化オракルを用いながら、任意の多面体へ一般化されている。この成果は、分散制御された損失推定とベンネットの不等式を活用することで達成され、高次元の行動空間における、レグレット性能と計算の実行可能性の実用的トレードオフを提供する。

ABSTRACT

For the linear bandit problem, we extend the analysis of algorithm CombEXP from [R. Combes, M. S. Talebi Mazraeh Shahi, A. Proutiere, and M. Lelarge. Combinatorial bandits revisited. In C. Cortes, N. D. Lawrence, D. D. Lee, M. Sugiyama, and R. Garnett, editors, Advances in Neural Information Processing Systems 28, pages 2116--2124. Curran Associates, Inc., 2015. URL http://papers.nips.cc/paper/5831-combinatorial-bandits-revisited.pdf] to the high-probability case against adaptive adversaries, allowing actions to come from an arbitrary polytope. We prove a high-probability regret of \(O(T^{2/3})\) for time horizon \(T\). While this bound is weaker than the optimal \(O(\sqrt{T})\) bound achieved by GeometricHedge in [P. L. Bartlett, V. Dani, T. Hayes, S. Kakade, A. Rakhlin, and A. Tewari. High-probability regret bounds for bandit online linear optimization. In 21th Annual Conference on Learning Theory (COLT 2008), July 2008. http://eprints.qut.edu.au/45706/1/30-Bartlett.pdf], CombEXP is computationally efficient, requiring only an efficient linear optimization oracle over the convex hull of the actions.

研究の動機と目的

• 適応的敵対的環境下の線形バンディット設定において、CombEXPアルゴリズムを任意の多面体へ拡張すること。
• 確率 $1 - \delta$ で成り立つCombEXPの高確率的レグレットバウンドを確立すること。
• 行動多面体上での線形最適化オーケストラにのみ依存することで、計算効率を維持すること。
• ComBandおよびCombEXPに関する先行研究を高確率的領域へ一般化する理論的分析を提供すること。
• 高確率的保証下で $O(\sqrt{T})$ の最適なレグレットバウンドにCombEXPを拡張できない主な障害を特定すること。

提案手法

• アルゴリズムは各ラウンドでスパースな近似分布を生成し、行動の全分布ではなく期待値 $\hat{x}_t$ のみを維持する。
• 損失推定には共分散行列 $C_t$ と探索を制御するパラメータ $\gamma_t$ を用い、推定損失の分散が有界であることを保証する。
• ベンネットの不等式を用いて、真の損失と推定損失の差の集中不等式を導出し、高確率的レグレット制御を可能にする。
• 行動集合 $A$ 内のすべての行動に対して同時に高確率でレグレットを制御するために、すべての行動に対する和集合の不等式を用いる。
• 多面体の $\ell_2$-直径 $B$ と探索共分散行列の最小固有値 $\lambda$ を用いて、損失推定誤差の分散およびサイズの上限を導出する。
• レグレット分解により、真の損失と推定損失の差、および探索戦略によるずれを分離し、それぞれを集中不等式で上限付ける。

実験結果

リサーチクエスチョン

• RQ1 CombEXPは、高確率的レグレットバウンドを保ちつつ、任意の多面体へ一般化可能か？
• RQ2 適応的敵対的環境下で、CombEXPが達成可能な最もタイトな高確率的レグレットバウンドは何か？
• RQ3 線形最適化オーケストラのみを用いて、高確率的設定下でも計算効率を維持できるか？
• RQ4 GeometricHedgeに補正項が存在するにもかかわらず、現在の手法が $O(\sqrt{T})$ の最適なレグレットバウンドに到達できないのはなぜか？
• RQ5 CombEXPを $O(\sqrt{T})$ レグレットに拡張する際に必要な恒等式は正当か？また、その検証は可能か？

主な発見

• 本稿では、確率 $1 - \delta$ で、CombEXPの高確率的レグレットバウンドが $O\left(\frac{B^{2}+nB}{\min\{\lambda,1\}}\cdot\ln\frac{2n+2}{\delta}\right)T^{2/3}$ であることを確立した。
• 同じ手法により、元の ComBand アルゴリズムに対しても $O(T^{2/3})$ の高確率的レグレットバウンドが得られるが、GeometricHedgeの $O(\sqrt{T})$ バウンドに比べて劣化している。
• 行動集合が指数的サイズであっても、凸包上での効率的線形最適化オーケストラのみを必要とするため、アルゴリズムは計算効率を維持する。
• 最適な $O(\sqrt{T})$ レグレットバウンドに到達できない主な障害は、探索プロセスの2次モーメントに関連する未検証の恒等式であり、これは逆共分散行列と探索重みを含む行列等式に相当する。
• この恒等式が成立しない限り、補正項が存在するにもかかわらず、方法を $O(\sqrt{T})$ レグレットに拡張することは不可能である。
• 解析は任意時刻に有効であり、パrameterの選択が時間枠 $T$ に依存しないため、時間に一様に成り立つ。