[論文レビュー] An optimal algorithm for bandit convex optimization

Elad Hazan, Yuanzhi Li|arXiv (Cornell University)|Mar 14, 2016

Advanced Bandit Algorithms Research参考文献 19被引用数 25

ひとこと要約

本論文は、部分的フィードバックと悪意ある設定下で、$×{O}(√{T})$のレグレットを達成する、最初の明示的で効率的なアルゴリズムを提示する。これは、既知の情報理論的下界と対数的要因を除いて一致する。この手法は、新しいオンライン版の楕円体アルゴリズムに加え、離散的凸幾何学の新規ツールを用いて、極めて制限されたフィードバックと悪意ある環境に対処する。

ABSTRACT

We consider the problem of online convex optimization against an arbitrary adversary with bandit feedback, known as bandit convex optimization. We give the first $ ilde{O}(\sqrt{T})$-regret algorithm for this setting based on a novel application of the ellipsoid method to online learning. This bound is known to be tight up to logarithmic factors. Our analysis introduces new tools in discrete convex geometry.

研究の動機と目的

• 悪意あるバンドイット凸最適化における既知の$×{O}(\sqrt{T})$のレグレット下界と、最高の既知の上界との間のギャップを埋める。
• 完全な悪意あるバンドイット凸最適化設定において、最適なレグレットを達成する明示的で効率的なアルゴリズムを設計すること。
• 確率的に高いレグレット保証を提供し、尾部が指数関数的に減少するようにすることで、実用的導入におけるロバスト性を確保すること。
• 部分的フィードバック下でのオンライン学習の解析を支援するための、離散的凸幾何学における新規ツールを導入すること。

提案手法

• バンドイット凸最適化に特化した、楕円体アルゴリズムの新しいオンライン版を提案し、限られたフィードバック下での意思決定集合の段階的改善を可能にする。
• 累積損失推定値がしきい値を超えた際に起動するリセット機構（RESTART）を導入し、安定性と収束性を保証する。
• 各エポックで損失関数の局所的凸近似を使用するマルチエポックフレームワークを採用し、エポック間で損失推定値を集約する。
• 適応的探索と分散制御を備えた変更版のEXP3.Pアルゴリズムを適用し、ラウンド全体にわたる損失推定値の信頼性を維持する。
• 凸集合の中心からの点までの距離比に基づく幾何的議論を用いて、損失関数の成長を制限する。
• 関数が基準点からどれほど成長できるかを定量化する新しい「相対曲率」$\gamma(x, \mathcal{K}_\tau)$の概念を定義し、エポック間での損失分解を可能にする。

実験結果

リサーチクエスチョン

• RQ1 明示的で効率的なアルゴリズムが、悪意あるバンドイット凸最適化設定で$\tilde{O}(\sqrt{T})$のレグレットを達成できるか。
• RQ2 完全な悪意あるBCO問題において、$\tilde{O}(\sqrt{T})$のレグレットバウンドがタイトか。
• RQ3 この設定において、確率的に高いレグレット保証と指数関数的に減少する尾部を達成できるか。
• RQ4 部分的フィードバックと凸最適化の組み合わせを、悪意ある環境で処理するために、どのような新しい幾何学的・アルゴリズム的ツールが必要か。

主な発見

• 悪意あるバンドイット凸最適化のミニマックスレグレットは$\tilde{\Theta}(\sqrt{T})$であり、対数的要因を除いてバウンドの最適性が確認された。
• 提案されたアルゴリズムは、高確率で$\tilde{O}(\sqrt{T})$のレグレットを達成し、確率$1 - \delta$以上で$\tilde{O}(\sqrt{T} \log \frac{1}{\delta})$のレグレットを達成する。
• このアルゴリズムは、悪意あるBCO設定で最適なレグレットを達成する最初の明示的構成であり、長年の未解決問題を解決した。
• 解析において、離散的凸幾何学における新規ツールが導入され、特に「相対曲率」$\gamma(x, \mathcal{K}_\tau)$の新しい概念が、エポック間での損失関数の正確な分解を可能にした。
• アルゴリズムはレグレットの尾部が指数関数的に減少することを保証し、不確実性下での実用的導入に適したロバスト性を有する。
• レグレットと計算複雑性は次元$d$に関して指数関数的に依存するが、この依存関係を多項式関数にできるかは未解決のまま残っている。