[論文レビュー] Optimal rates for zero-order convex optimization: the power of two function evaluations

John C. Duchi, Michael I. Jordan+2 more|arXiv (Cornell University)|Dec 7, 2013

Stochastic Gradient Optimization Techniques参考文献 38被引用数 6

ひとこと要約

本稿は、反復ごとに2回の関数評価を使用する零番目の凸最適化における最適収束速度を確立している。ランダムな摂動による勾配推定は、一階方法と比較して、最悪でも√d 要因の収束速度の劣化を引き起こすことが示され、これらの速度に達する単純なアルゴリズムが提供されており、タイトな情報理論的下界によって裏付けられている。

ABSTRACT

We consider derivative-free algorithms for stochastic and non-stochastic convex optimization problems that use only function values rather than gradients. Focusing on non-asymptotic bounds on convergence rates, we show that if pairs of function values are available, algorithms for $d$-dimensional optimization that use gradient estimates based on random perturbations suffer a factor of at most $\sqrt{d}$ in convergence rate over traditional stochastic gradient methods. We establish such results for both smooth and non-smooth cases, sharpening previous analyses that suggested a worse dimension dependence, and extend our results to the case of multiple ($m \ge 2$) evaluations. We complement our algorithmic development with information-theoretic lower bounds on the minimax convergence rate of such problems, establishing the sharpness of our achievable results up to constant (sometimes logarithmic) factors.

研究の動機と目的

• 関数値のみにアクセス可能な零番目の最適化における収束速度の理解のギャップを埋めること。
• d次元の凸最適化において、反復ごとに2回の関数評価を使用する場合の収束速度への影響を分析すること。
• ランダムな摂動による勾配推定に基づく、単純で効果的なアルゴリズムを開発し、最適な収束速度を達成すること。
• 提案されたアルゴリズムの最適性を確認するために、タイトな情報理論的下界を確立すること。

提案手法

• θ および θ + uZ におけるペアの関数評価を用いた、ランダムな摂動に基づくランダム勾配推定器を提案する。
• 目的関数 f(θ) = ℰ[F(θ;X)] を最小化するために、推定勾配を用いた確率的ミラー降下法および確率的勾配降下法を用いる。
• 2回の評価モデル下での滑らかでない凸関数および滑らかな凸関数の両方に対する収束速度を導出する。
• KL発散およびピンサーカーの不等式を含む情報理論的技術を用いて、最適化誤差のミニマックス下界を導出する。
• 球面設計および対称性の議論を用いて、勾配推定器の期待ノルムを評価する。
• 確率的優位性および集中不等式を用いて、勾配推定器の分散を制御する。

実験結果

リサーチクエスチョン

• RQ1 反復ごとに2回の関数評価が利用可能なd次元の零番目の凸最適化で達成可能な最適収束速度は何か？
• RQ2 1回の評価スキームと比較して、2回の評価を使用する場合、次元依存性が収束速度にどのように影響するか？
• RQ3 単純で確率的なアルゴリズムが、定数要因または対数的要因の範囲で最適レートに達することができるか？
• RQ4 この設定におけるミニマックス最適化誤差の最もタイトな情報理論的下界は何か？
• RQ5 次元dが、零番目の最適化における達成可能なレートと下界の差にどのように影響するか？

主な発見

• 2回評価の零番目の最適化における収束速度は、一階方法と比較して最悪でも√d 要因の劣化を受けるが、これは対数的要因を除いて最適である。
• 滑らかな凸関数の場合、提案されたアルゴリズムはk反復後に𝒪(√d / √k) の収束速度を達成し、定数要因を除いて下界と一致する。
• 滑らかでない凸関数の場合、アルゴリズムはk反復後に𝒪(√d / k^{1/4}) のレートを達成し、再び対数的要因を除いて下界と一致する。
• ミニマックス最適化誤差の情報理論的下界は、滑らかな関数に対してΩ(√d / k^{1/2})、滑らかでない関数に対してΩ(√d / k^{1/4}) である。
• 以前のカンファレンス版における誤りを是正し、KL発散およびピンサーカーの不等式を用いた、より強固な下界の新たな証明を与える。
• 結果はm ≥ 2の関数評価に対しても拡張可能であり、多次元において収束速度のさらなる向上が可能であることを示している。