[論文レビュー] Gradient-free optimization of highly smooth functions: improved analysis and a new algorithm

Arya Akhavan, Evgenii Chzhen+2 more|arXiv (Cornell University)|Jun 3, 2023

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿は、高次滑らか関数に対する勾配フリー最適化のための新しいアルゴリズムを提案し、ℓ₁-球乱択を用いることで、従来のℓ₂ベースの手法に比べてバイアスとバリアンスの両方の境界を改善した。Poincaré型不等式を用いた洗練された解析により、強い凸関数およびPolyak-Łojasiewicz関数に対して最小最大最適性を確立し、弱いノイズ仮定下でもタイトな収束レートを導出している。

ABSTRACT

This work studies minimization problems with zero-order noisy oracle information under the assumption that the objective function is highly smooth and possibly satisfies additional properties. We consider two kinds of zero-order projected gradient descent algorithms, which differ in the form of the gradient estimator. The first algorithm uses a gradient estimator based on randomization over the $\ell_2$ sphere due to Bach and Perchet (2016). We present an improved analysis of this algorithm on the class of highly smooth and strongly convex functions studied in the prior work, and we derive rates of convergence for two more general classes of non-convex functions. Namely, we consider highly smooth functions satisfying the Polyak-Łojasiewicz condition and the class of highly smooth functions with no additional property. The second algorithm is based on randomization over the $\ell_1$ sphere, and it extends to the highly smooth setting the algorithm that was recently proposed for Lipschitz convex functions in Akhavan et al. (2022). We show that, in the case of noiseless oracle, this novel algorithm enjoys better bounds on bias and variance than the $\ell_2$ randomization and the commonly used Gaussian randomization algorithms, while in the noisy case both $\ell_1$ and $\ell_2$ algorithms benefit from similar improved theoretical guarantees. The improvements are achieved thanks to a new proof techniques based on Poincaré type inequalities for uniform distributions on the $\ell_1$ or $\ell_2$ spheres. The results are established under weak (almost adversarial) assumptions on the noise. Moreover, we provide minimax lower bounds proving optimality or near optimality of the obtained upper bounds in several cases.

研究の動機と目的

• ゼロオーダーのノイズのあるオракルアクセス下での、高次滑らか関数に対する勾配フリー最適化の理論的収束保証を改善すること。
• 従来のℓ₂ベースの手法に比べてノイズなし条件下でバイアスとバリアンスの制御を向上させる、ℓ₁-球乱択に基づく新しいアルゴリズムの開発。
• 既存の解析を非凸設定に拡張し、Polyak-Łojasiewicz条件を満たす関数および一般の高次滑らか関数を含む。
• 提案された上界の最適性または準最適性を示すために、最小最大下界を確立すること。
• ℓ₁およびℓ₂球上の一様分布に適したPoincaré型不等式を用いて、勾配推定器の解析を統一すること。

提案手法

• 勾配推定にℓ₁-球乱択を用いる新しいゼロオーダー射影勾配降下法アルゴリズムを提案し、従来のℓ₂やガウス型スキームに代わるものである。
• 高階の滑らかさを活用するため、PolyakとTsybakov（1990）の枠組みに従い、スムージングカーネルを用いる。
• ℓ₁およびℓ₂球上の一様分布に特化した新しいPoincaré型不等式を用いて、バイアスとバリアンスの境界を導出する。
• 一般のノイズモデル（ほとんどアドバーシャルノイズを含む）下で、ℓ₁ベースおよびℓ₂ベースの勾配推定器の両方を新規の証明技法で解析する。
• 最小最大解析を用いて下界を導出し、上界が主要な領域で最適または準最適であることを証明する。
• 弱い仮定下で、強い凸関数、Polyak-Łojasiewicz関数、一般の滑らかな非凸関数に対して収束レートを確立する。

実験結果

リサーチクエスチョン

• RQ1 ℓ₁-球乱択スキームは、勾配フリー最適化において、ℓ₂ベースの勾配推定器に比べて、バイアスとバリアンスの両方をよりよく制御できるか？
• RQ2 ゼロオーダーのノイズのあるオラクルアクセス下での、高次滑らか関数に対する勾配フリー最適化の最適収束レートは何か？
• RQ3 提案されたアルゴリズムは、非凸設定、特にPolyak-Łojasiewicz条件を満たす関数に対してどのように動作するか？
• RQ4 最適化誤差の上界が最小最大最適であるかどうか、対応する下界は何か？
• RQ5 ℓ₁およびℓ₂球上の一様分布に適したPoincaré型不等式を用いて、勾配推定器の解析をよりタイトにできるか？

主な発見

• ノイズなし条件下で、ℓ₁ベースのアルゴリズムはℓ₂ベースおよびガウス乱択に比べて、より良いバイアスとバリアンスの境界を達成し、理論的保証が向上している。
• Lipschitz勾配をもつ強い凸関数に対して、ℓ₁およびℓ₂両アルゴリズムは最小最大最適レート α⁻¹d/√T を達成しており、境界の最適性を裏付けている。
• ℓ₁ベースのアルゴリズムの上界は、いくつかの領域で最小最大下界と一致しており、収束レートの準最適性が証明されている。
• 期待最適化誤差の最小最大下界が、order min(α, d/α ⋅ T⁻⁽ᵝ⁻¹⁾ᐟᵝ) であることを確立し、定数因子を除いて上界と一致している。
• Polyak-Łojasiewicz条件を満たす非凸関数に対しても解析を拡張し、Łojasiewiczパラメータに依存する収束レートが得られた。
• ℓ₁およびℓ₂球に対するPoincaré型不等式に基づく新規な証明技法により、勾配推定器のモーメントをより厳密に制御でき、収束レートが向上した。