[論文レビュー] Mirror Descent and the Information Ratio

Tor Lattimore, András György|arXiv (Cornell University)|Sep 25, 2020

Advanced Bandit Algorithms Research参考文献 21被引用数 8

ひとこと要約

本稿では、ミラー降下と情報比の理論的関係を確立し、ミラー降下における安定性バウンドが、情報誘導的サンプリングと一致するレグレットバウンドをもたらすことを示している。$d$-腕の敵対的バンディット問題に対して、レグレット $\\mathfrak{R}_n \leq \sqrt{2dn}$ を達成する効率的なアルゴリズムを提示している。これは、既知の情報理論的上界と一致する。

ABSTRACT

We establish a connection between the stability of mirror descent and the information ratio by Russo and Van Roy [2014]. Our analysis shows that mirror descent with suitable loss estimators and exploratory distributions enjoys the same bound on the adversarial regret as the bounds on the Bayesian regret for information-directed sampling. Along the way, we develop the theory for information-directed sampling and provide an efficient algorithm for adversarial bandits for which the regret upper bound matches exactly the best known information-theoretic upper bound.

研究の動機と目的

• ミラー降下と情報比を結びつけ、非構成的である情報理論的バウンドを明示的で安定したオンライン学習アルゴリズムに変換すること。
• 不偏な損失推定器と探索的分布を用いたミラー降下を用いて、敵対的バンディットのレグレット最小化の構成的アプローチを開発すること。
• 有限腕バンディット問題に対して、既知の情報理論的上界と一致するレグレットを達成する効率的なアルゴリズムを導出すること。
• 最小二乗レグレットが $\\Theta(n^{1/2})$ でないレギームに一般化された情報理論的道具立てを拡張すること。
• 零次元バンディット凸最適化のためのより良いアルゴリズムへの道筋を提供すること。

提案手法

• ミニマックス双対性と情報理論的分析を用いて、情報比とミラー降下の安定性を結びつける。
• 不偏でかつ有界レグレットを保証する特定の損失推定子 $g(a,\\sigma)_b$ を用いたミラー降下を適用する。
• 安定性とレグレットを制御するため、Bregman発散 $\\Psi_q$ を用いた正則化子を採用する。
• 推定関数の代数的変形とコーシー–シュバルツ不等式を用いて、安定性項をバウンドすることでレグレットバウンドを導出する。
• ミラー降下において $P_t = Q_t$ を実現しながらも、レグレットバウンドを維持できる、新しい損失推定関数を導入する。
• 適切な仮定の下で、Sionのミニマックス定理と凸解析を用いて、構成の正当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンレグレット解析で用いられる情報理論的道具立てを、オンライン学習の構成的フレームワークに翻訳することは可能か？
• RQ2 適切な損失推定器と探索的分布を用いたミラー降下は、情報誘導的サンプリングと同一のレグレットバウンドを達成するか？
• RQ3 ミラー降下の安定性を情報比と結びつけることで、タイトな敵対的レグレットバウンドが得られるか？
• RQ4 情報理論的上界と一致するレグレットを達成する効率的な敵対的バンディットアルゴリズムを設計することは可能か？
• RQ5 提案されたフレームワークは、無限個の行動空間や凸バンディット問題に拡張可能か？

主な発見

• 本稿では、情報比のバウンドがミラー降下およびフォローザレギュラー化リーダ（FTRL）の安定性バウンドをもたらすことを確立し、構成的レグレット解析を可能にした。
• $d$-腕の敵対的バンディット問題に対して、レグレット $\\mathfrak{R}_n \leq \sqrt{2dn}$ を達成する効率的なアルゴリズムが構築された。これは、既知の情報理論的上界と一致する。
• 損失推定関数 $g(a,\\sigma)_b$ が不偏であり、$P_t = Q_t$ を満たす安定なミラー降下更新をもたらすことが証明された。
• レグレットバウンドにおける安定性項が、新しい代数的およびコーシー–シュバルツに基づく議論により、$\\frac{\\eta\sqrt{d}}{4}$ でバウンドされた。
• 複雑なズームイン・リセット機構を回避するため、凸バンディット問題に対する従来の手法のより単純な代替案が得られた。
• フレームワークは、最小二乗レグレットが $\\Theta(n^{1/2})$ でない状況にも一般化可能であり、適応的レグレットバウンドを可能にする。