[논문 리뷰] Gradient-free optimization of highly smooth functions: improved analysis and a new algorithm

Arya Akhavan, Evgenii Chzhen외 2명|arXiv (Cornell University)|2023. 06. 03.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 고도로 매끄러운 함수에 대해 ℓ₁-구면 랜덤화를 사용하는 새로운 기울기 자유 최적화 알고리즘을 제안하며, 기존 ℓ₂ 기반 방법에 비해 향상된 편향 및 분산 상한을 달성한다. Poincaré 유형 부등식을 활용한 정교한 분석을 통해 강凸성과 Polyak-Łojasiewicz 함수에 대해 최소 최대 최적성을 확립하고, 약한 노이즈 가정 하에 날카러운 수렴 속도를 도출한다.

ABSTRACT

This work studies minimization problems with zero-order noisy oracle information under the assumption that the objective function is highly smooth and possibly satisfies additional properties. We consider two kinds of zero-order projected gradient descent algorithms, which differ in the form of the gradient estimator. The first algorithm uses a gradient estimator based on randomization over the $\ell_2$ sphere due to Bach and Perchet (2016). We present an improved analysis of this algorithm on the class of highly smooth and strongly convex functions studied in the prior work, and we derive rates of convergence for two more general classes of non-convex functions. Namely, we consider highly smooth functions satisfying the Polyak-Łojasiewicz condition and the class of highly smooth functions with no additional property. The second algorithm is based on randomization over the $\ell_1$ sphere, and it extends to the highly smooth setting the algorithm that was recently proposed for Lipschitz convex functions in Akhavan et al. (2022). We show that, in the case of noiseless oracle, this novel algorithm enjoys better bounds on bias and variance than the $\ell_2$ randomization and the commonly used Gaussian randomization algorithms, while in the noisy case both $\ell_1$ and $\ell_2$ algorithms benefit from similar improved theoretical guarantees. The improvements are achieved thanks to a new proof techniques based on Poincaré type inequalities for uniform distributions on the $\ell_1$ or $\ell_2$ spheres. The results are established under weak (almost adversarial) assumptions on the noise. Moreover, we provide minimax lower bounds proving optimality or near optimality of the obtained upper bounds in several cases.

연구 동기 및 목표

• 기울기 자유 최적화에 대해 고도로 매끄러운 함수의 이론적 수렴 보장을 향상시키기 위해 0차 노이즈 있는 오라클 접근 조건 하에서.
• 기존 ℓ₂ 기반 방법보다 노이즈 없는 조건에서 편향 및 분산 제어를 더 잘하는 ℓ₁-구면 랜덤화 기반의 새로운 알고리즘을 개발하기 위해.
• 기존 분석을 비볼록 설정으로 확장하여, Polyak-Łojasiewicz 조건을 만족하는 함수와 일반적인 고도로 매끄러운 함수를 포함하기 위해.
• 제안된 상한의 최소 최대 최적성 또는 근접 최적성을 증명하기 위해 하한을 도출하기 위해.
• ℓ₁ 및 ℓ₂ 구면 위의 균일 분포에 대해 Poincaré 유형 부등식을 사용하여 기울기 추정기 분석을 통합하기 위해.

제안 방법

• 기울기 추정을 위해 기존 ℓ₂ 또는 가우시안 기반 기법을 대체하는 ℓ₁-구면 랜덤화를 사용하는 새로운 0차 투영 기울기 하강 알고리즘을 제안한다.
• Polyak과 Tsybakov(1990)의 프레임워크를 따르며, 고차수 매끄러움을 활용하기 위해 스무딩 커널을 적용한다.
• ℓ₁ 및 ℓ₂ 구면 위의 균일 분포에 특화된 새로운 Poincaré 유형 부등식을 사용하여 편향 및 분산 상한을 유도한다.
• 일반적인 노이즈 모델(거의 적대적 노이즈 포함) 하에서 ℓ₁ 기반 및 ℓ₂ 기반 기울기 추정기의 분석에 새로운 증명 기법을 적용한다.
• 최소 최대 분석을 사용하여 하한을 유도하며, 상한이 핵심 영역에서 최적 또는 근접 최적임을 증명한다.
• 약한 가정 하에 강凸성, Polyak-Łojasiewicz, 일반적인 매끄러운 비볼록 함수에 대해 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 ℓ₁-구면 랜덤화 기법은 기울기 자유 최적화에서 ℓ₂ 기반 기울기 추정기보다 편향 및 분산 제어를 더 잘할 수 있는가?
• RQ2 0차 노이즈 있는 오라클 접근 조건 하에서 고도로 매끄러운 함수의 기울기 자유 최적화에 대해 최적의 수렴 속도는 무엇인가?
• RQ3 제안된 알고리즘은 비볼록 설정, 특히 Polyak-Łojasiewicz 조건을 만족하는 함수에서 어떻게 성능을 발휘하는가?
• RQ4 최적화 오차에 대한 상한이 최소 최대 최적인가? 대응하는 하한은 무엇인가?
• RQ5 ℓ₁ 및 ℓ₂ 구면 위의 균일 분포에 대해 Poincaré 유형 부등식을 사용하여 기울기 추정기 분석을 더욱 날카럽게 유도할 수 있는가?

주요 결과

• 노이즈 없는 조건에서 ℓ₁ 기반 알고리즘이 ℓ₂ 기반 및 가우시안 랜덤화보다 더 낮은 편향 및 분산 상한을 달성하며, 이는 향상된 이론적 보장을 제공한다.
• Lipschitz 기울기를 가진 강凸성 함수에 대해 ℓ₁ 및 ℓ₂ 알고리즘이 모두 최소 최대 최적 속도 α⁻¹d/√T 를 달성하며, 이는 상한의 최적성을 확인한다.
• ℓ₁ 기반 알고리즘의 상한이 여러 영역에서 최소 최대 하한과 일치하여, 수렴 속도의 근접 최적성을 증명한다.
• 기대 최적화 오차에 대해 최소 최대 하한 min(α, d/α ⋅ T⁻⁽ᵝ⁻¹⁾ᐟᵝ) 을 확립하며, 상한과 상수 인자 외에는 일치한다.
• 비볼록 함수에 대해 Polyak-Łojasiewicz 조건을 만족하는 경우로 분석을 확장하여, Łojasiewicz 매개수에 따라 의존하는 수렴 속도를 도출한다.
• ℓ₁ 및 ℓ₂ 구면에 대한 Poincaré 유형 부등식을 기반으로 한 새로운 증명 기법은 기울기 추정기 모멘트를 더 엄밀히 제어하여, 향상된 수렴 속도를 이끌어낸다.