[論文レビュー] Multi-scale exploration of convex functions and bandit convex optimization

Sébastien Bubeck, Ronen Eldan|arXiv (Cornell University)|Jul 23, 2015

Advanced Bandit Algorithms Research参考文献 8被引用数 22

ひとこと要約

この論文は、凸関数におけるスケールにわたる新しい多スケール探索マップを導入し、定義域全体にわたる確率分布を構築することで、同時にすべてのスケールで関数を調べることを可能にする。この構成と情報比解析を活用することで、バンドイット凸最適化分野における10年間にわたる未解決問題を解決し、次元 $n$ において $ abla{O}(n^{11} abla^4 T abla{T})$ のミニマックスレグレットバウンドを証明する。これは、対数的および多項式的要因を除いて、最適な $ abla{T}$ スケーリングと一致する。

ABSTRACT

We construct a new map from a convex function to a distribution on its domain, with the property that this distribution is a multi-scale exploration of the function. We use this map to solve a decade-old open problem in adversarial bandit convex optimization by showing that the minimax regret for this problem is $ ilde{O}(\mathrm{poly}(n) \sqrt{T})$, where $n$ is the dimension and $T$ the number of rounds. This bound is obtained by studying the dual Bayesian maximin regret via the information ratio analysis of Russo and Van Roy, and then using the multi-scale exploration to solve the Bayesian problem.

研究の動機と目的

• 敵対的バンドイット凸最適化におけるミニマックスレグレットの $ abla{T}$ 下界と $T^{3/4}$ 上界の間の長年のギャップを埋める。
• すべてのスケールで同時にプローブを実行できるような分布マップを用いて、凸関数の多スケール探索の新手法を開発する。
• 情報比解析を用いてベイジアン最大最小レグレット問題を解決し、敵対的設定においてタイトなレグレットバウンドを導出する。
• 1次元における最近の $ abla{T}$-レグレット結果を高次元に拡張し、次元 $n$ に対して多項式的依存を達成する。

提案手法

• 任意の $\alpha \in \mathcal{K}$ および $g(\alpha) < -\varepsilon$ を満たす $1$-リプシッツ関数 $g$ に対して、$|f(x) - g(x)|$ が大きい集合が顕著な測度を持つような、凸体 $\mathcal{K}$ 上の分布 $\mu$ を構築する。
• 定義域の幾何学的および測度論的性質を用いて、凸関数 $f$ から確率測度 $\mu$ への写像を定義し、すべてのスケールでの探索を保証する。
• RussoとVan Royの情報比フレームワークを用いて、ベイジアン最大最小レグレットをバウンドし、期待レグレットを最適行動に関する情報量の増加と関連付ける。
• Sionのミニマックス定理を適用して、ミニマックスレグレット問題をベイジアン最大最小レグレットのバウンドに還元する。
• 球面射影と径方向測度を用いて定義域の幾何を分析し、高次元における対数的コンカベニティと体積比較を活用する。
• 測度の分解と極座標を用いて、径方向射影 $\Theta_\alpha(x)$ の等高線集合上の条件付き測度の密度を導出する。

実験結果

リサーチクエスチョン

• RQ1 凸体上の単一の分布が、すべてのスケールで凸関数の同時探索を保証できるか？
• RQ2 一般の $n$ 次元凸体において、バンドイット凸最適化で $ abla{O}(\mathrm{poly}(n)\nabla{T})$ のミニマックスレグレットバウンドを達成できるか？
• RQ3 敵対的バンドイット凸最適化における、探索と情報量の増加の最適なトレードオフは何か？
• RQ4 $T^{3/4}$ 上界と $ abla{T}$ 下界がある中で、高次元において $ abla{T}$ レグレットスケーリングを達成できるか？
• RQ5 凸性は、関数を負の摂動と区別する統計的識別能をどのように著しく向上させるか？

主な発見

• 論文は、任意の $\alpha \in \mathcal{K}$ および $1$-リプシッツ関数 $g$ で $g(\alpha) < -\varepsilon$ を満たすものに対して、$|f(x) - g(x)| > \frac{c}{n^{7.5}\log(1+n/\varepsilon)}\max(\varepsilon, f(x))$ を満たす集合の測度が $\frac{c}{n^3\log(1+n/\varepsilon)}$ 以上であるような、$\mathcal{K}$ 上の分布 $\mu$ を構築する。
• バンドイット凸最適化における次元 $n$ のミニマックスレグレットは、$\mathbb{E}[R_T] \leq c\, n^{11} \log^4 T \sqrt{T}$ でバウンドされ、長年の $T$-依存性のギャップが解消される。
• i.i.d. 損失系列に対する以前の最良のバウンド $\nabla{O}(n^{16}\sqrt{T})$ よりも $n$ に依存する部分がタイトになる。
• この構成は、$ abla{T}$ スケーリングを対数的および多項式的要因を除いて達成する $ abla{O}(\mathrm{poly}(n))$ 依存のレグレットを達成し、これらの要因を除いて最適である。
• 主なインサイトは、凸性が非凸設定では不可能な多スケール探索戦略を可能にすることであり、その際の識別能は $O(\varepsilon^{n+1})$ に制限される。
• 分析は、情報比を用いた新しい情報理論的フレームワークと、幾何測度論を組み合わせ、探索分布の挙動を制御する。