[論文レビュー] Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits

Arya Akhavan, Massimiliano Pontil+1 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Bandit Algorithms Research参考文献 31被引用数 18

ひとこと要約

本稿では、高階の滑らかさ（ Hölder パrameter β ≥ 2）を活用することで、零次確率最適化および連続バンディットにおける収束を向上させる、確率的で微分を必要としない最適化アルゴリズムを提案する。二点関数評価と滑らか化カーネル、および射影勾配降下法を用いることで、ほぼ最適なサンプル複雑度とミニマックスレートを達成し、最適化誤差は $\mathcal{O}(d/\sqrt{\alpha T} + d^2/(\alpha T))$ で有界となる。これは強い凸性と滑らかさの仮定の下で、先行研究を著しく改善する。

ABSTRACT

We study the problem of zero-order optimization of a strongly convex function. The goal is to find the minimizer of the function by a sequential exploration of its values, under measurement noise. We study the impact of higher order smoothness properties of the function on the optimization error and on the cumulative regret. To solve this problem we consider a randomized approximation of the projected gradient descent algorithm. The gradient is estimated by a randomized procedure involving two function evaluations and a smoothing kernel. We derive upper bounds for this algorithm both in the constrained and unconstrained settings and prove minimax lower bounds for any sequential search method. Our results imply that the zero-order algorithm is nearly optimal in terms of sample complexity and the problem parameters. Based on this algorithm, we also propose an estimator of the minimum value of the function achieving almost sharp oracle behavior. We compare our results with the state-of-the-art, highlighting a number of key improvements.

研究の動機と目的

• 高階の滑らかさ（β ≥ 2）が、微分を必要としない確率的最適化における最適化誤差と累積レグルレーションに与える影響を調査すること。
• 微分を必要とせず、二点関数評価と滑らか化カーネルを用いて勾配を推定する、確率的射影勾配降下法を開発すること。
• 次元 d、強い凸性 α、滑らかさ β、ノイズレベル σ に明示的に依存する最適化誤差とレグルレーションのタイトな上界を導出すること。
• 情報理論的議論を用いてミニマックス下界を確立し、提案手法が問題パラメータ全域でほぼ最適であることを示すこと。
• 最小関数値の推定器を提案し、ほぼ鋭いオラクル行動を達成すること。

提案手法

• rₜ ∈ [-1,1] および ζₜ を単位球面上の一様分布に従う確率変数として、xₜ ± hₜrₜζₜ における二点関数評価に基づく確率的勾配推定器を用いる。
• f の高階の滑らかさを活用するため、勾配推定器に滑らか化カーネル K(rₜ) を適用し、推定精度を向上させる。
• 強い凸性を満たすために、ステップサイズ ηₜ = 1/(αt) を用いた射影勾配降下法を実装する。
• 滑らかさおよびノイズ項を組み込んだ、期待される非最適性の再帰的解析を用いて、最適化誤差およびレグルレーションの上界を導出する。
• 2-滑らかさ関数を超える収束を改善するため、カーネルベースの近似を用いることで、先行研究が L-滑らかさのみを仮定していたのを一般化する。
• 情報理論的議論を用いてミニマックス下界を確立し、提案手法が根本的限界にほぼ一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 強い凸性とノイズの下で、高階の滑らかさ（β ≥ 2）は零次最適化の収束速度にどのように影響するか？
• RQ2 滑らか化カーネルを用いた二点確率的勾配推定器は、微分を必要としない設定で、ほぼ最適なレグルレーションと最適化誤差を達成できるか？
• RQ3 バイアスとバリアンスをバランスさせるために、ステップサイズおよび滑らか化パラメータ hₜ の最適な選択は何か？
• RQ4 次元 d、強い凸性 α、ノイズレベル σ が同時に作用する場合、ミニマックス収束レートにどのように影響するか？
• RQ5 提案手法は、最小関数値の推定において、ほぼ鋭いオラクル行動を達成できるか？

主な発見

• 提案手法の最適化誤差は、$\mathbb{E}[f(\hat{x}_T) - f(x^*)] \leq A_8 \frac{d}{\sqrt{\alpha T}} + A_9 \frac{d^2}{\alpha T}$ で有界であり、A₈ および A₉ は d、α、T に依存しない定数である。
• 累積レグルレーションは、$\min(GBT, 2\sqrt{3L}\sigma \frac{d}{\sqrt{\alpha}} \sqrt{T} + \frac{C^* G^2}{2} \frac{d}{\alpha}(1 + \log T))$ で有界であり、T および d に対してほぼ最適な依存関係を示している。
• 滑らか化カーネル K(rₜ) の使用により、高階の滑らかさ（β ≥ 2）を活用でき、2-滑らかさを仮定する手法よりも収束が向上する。
• 提案された最小値推定器は、情報理論的限界に非常に近い誤差レートを達成し、ほぼ鋭いオラクル行動を実現する。
• 結果は、高階の滑らかさを組み込み、制約付きおよび非制約付き両設定において、パラメータ依存のタイトな上界を提供することで、先行研究を一般化している。