[論文レビュー] Optimal Non-Asymptotic Lower Bound on the Minimax Regret of Learning with Expert Advice

Francesco Orabona, Dávid Pál|arXiv (Cornell University)|Nov 6, 2015

Advanced Bandit Algorithms Research参考文献 4被引用数 10

ひとこと要約

本稿は、長さ $ n $ の $ d $ 個の独立した対称ランダムウォークの期待最大値に対するタイトな下界を導出することにより、オンライン学習における専門家アドバイスの下で最小最大レグレットの非漸近的下界を確立する。主な貢献は、漸近的に $ \sqrt{2\ln d} $ の最良定数を回復する最適な下界を提供し、有限な $ n $ および $ d $ に対して明示的かつ非漸近的なレグレット下界を提示することにある。解析では、ミルズ比を用いたガウス分布およびラデマッハ分布の下尾確率に対する新しい下界が、専門家アドバイス設定における同分布確率変数の最大値に応用されている。

ABSTRACT

We prove non-asymptotic lower bounds on the expectation of the maximum of $d$ independent Gaussian variables and the expectation of the maximum of $d$ independent symmetric random walks. Both lower bounds recover the optimal leading constant in the limit. A simple application of the lower bound for random walks is an (asymptotically optimal) non-asymptotic lower bound on the minimax regret of online learning with expert advice.

研究の動機と目的

• オンライン学習における専門家アドバイスの文脈で、既知の漸近的レグレットバウンドと非漸近的下界との間のギャップを埋めること。
• 長さ $ n $ の $ d $ 個の独立した対称ランダムウォークの期待最大値に対する非漸近的下界を導出すること。
• 大規模な $ n $ および $ d $ の下で、最適な漸近的定数 $ \sqrt{2\ln d} $ を一致させる最小最大レグレットの下界を確立すること。
• ミルズ比不等式を用いて、i.i.d. ガウス変数の期待最大値に対するタイトで明示的な下界を導出すること。

提案手法

• ボイス（1959）の不等式の簡略化形を用いて、標準正規分布のミルズ比に対する新しい下界を導出する。
• 標準正規分布の下尾確率に対する下界を応用し、i.i.d. $ N(0,\sigma^2) $ 変数の期待最大値に対する下界を導出する。
• 対称性および集中性の議論を用いて、ある閾値未満である条件下でのガウス分布の期待値をバウンドする。
• 対称ランダムウォークの期待最大値を解析することで、ガウス分布の結果を離散的状況に翻訳する。
• ランダムウォークの下界を、$ d $ 個のランダムウォークの最大値への還元により、オンライン学習における専門家アドバイス問題に適用する。
• カップリングの議論を用いて、任意のアルゴリズムのレグレットを $ d $ 個の対称ランダムウォークの期待最大値に関連付け、レグレットの下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 長さ $ n $ の $ d $ 個の独立した対称ランダムウォークの期待最大値に対する最もタイトな非漸近的下界は何か？
• RQ2 漸近的定数 $ \sqrt{2\ln d} $ を回復する、ガウス分布の期待最大値に対する非漸近的下界を導出可能か？
• RQ3 ランダムウォークの最大値に対する導出された下界は、オンライン学習における専門家アドバイスの文脈で、既知の漸近的最適定数を一致する最小最大レグレット下界をもたらすか？
• RQ4 ミルズ比を用いて、i.i.d. 確率変数の尾および最大値に対する明示的かつ非漸近的な下界をどのように導出できるか？

主な発見

• 本稿は、i.i.d. $ N(0,\sigma^2) $ 変数の $ \mathbf{E}[\max_{1\leq i\leq d} X_i] $ に対する非漸近的下界を確立し、漸近的定数と一致する主要項 $ \sigma\sqrt{2\ln d} $ を有する。
• 漸近的に最適な $ \sqrt{2\ln d} $ 要素を回復する $ \Omega(\sigma\sqrt{\log d}) $ の下界が証明された。
• 長さ $ n $ の対称ランダムウォークに対して、期待最大値は $ \mathbf{E}[\max_{1\leq i\leq d} Z^{(n)}_i] = \Omega(\sqrt{n\log d}) $ を満たし、漸近的極限において主要項 $ \sqrt{2n\ln d} $ を有する。
• この下界はオンライン学習における専門家アドバイスに応用され、既知の漸近的最適定数 $ \sqrt{2\ln d} $ を一致する非漸近的レグレット下界をもたらす。
• レグレット下界は $ \operatorname{Regret}^{(d)}(n) \geq \frac{1 - \exp(-\frac{\sqrt{\ln d}}{3.1\sqrt{2\pi}})}{\sqrt{\psi(\frac{1.6\sqrt{\ln d}}{2\sqrt{n}})}} \cdot \frac{\sqrt{n}}{2}(\sqrt{2\ln d - 2\ln\ln d} - 1) - \frac{\sqrt{n}}{2} $ として表され、$ n \geq 7 $ および $ 2 \leq d \leq \exp(n/3) $ の範囲で有効である。
• 導出された下界は、$ n, d \to \infty $ の下で漸近的主定数 $ \sqrt{2\ln d} $ を回復するため、既知の上界のタイトさを確認する意味で最適である。