[논문 리뷰] Gradientless Descent: High-Dimensional Zeroth-Order Optimization

Daniel Golovin, John Karro외 4명|arXiv (Cornell University)|2020. 04. 30.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 17

한 줄 요약

이 논문은 매끄럽고 강력 볼록인 목표 함수에 대해 잠재 차원 k ≥ n에서 최적점의 ϵ-구역 내로 수렴하는 제로스티프 오르기(Zeroth-Order Optimization) 방법인 기울기 없는 내림(Gradientless Descent, GLD)을 제안한다. 이 방법은 O(kQ log(n) log(R/ϵ))의 평가 수를 통해 수렴하며, 수치적으로 안정적이며 단조 변환에 대해 불변이며, 차원에 대해 다항로그 형태의 의존성을 가지며 최적 수렴 속도를 갖는다.

ABSTRACT

Zeroth-order optimization is the process of minimizing an objective $f(x)$, given oracle access to evaluations at adaptively chosen inputs $x$. In this paper, we present two simple yet powerful GradientLess Descent (GLD) algorithms that do not rely on an underlying gradient estimate and are numerically stable. We analyze our algorithm from a novel geometric perspective and we show that for {\it any monotone transform} of a smooth and strongly convex objective with latent dimension $k \ge n$, we present a novel analysis that shows convergence within an $\epsilon$-ball of the optimum in $O(kQ\log(n)\log(R/\epsilon))$ evaluations, where the input dimension is $n$, $R$ is the diameter of the input space and $Q$ is the condition number. Our rates are the first of its kind to be both 1) poly-logarithmically dependent on dimensionality and 2) invariant under monotone transformations. We further leverage our geometric perspective to show that our analysis is optimal. Both monotone invariance and its ability to utilize a low latent dimensionality are key to the empirical success of our algorithms, as demonstrated on synthetic and MuJoCo benchmarks.

연구 동기 및 목표

• 기울기 추정에 의존하지 않고 고차원 환경에서도 수치적으로 안정적인 제로스티프 최적화 알고리즘을 개발하는 것.
• 기존 방법이 다항식 또는 지수적 의존성을 보이는 것과는 달리, 입력 차원 n에 대해 다항로그 형태의 의존성을 갖는 수렴 속도를 달성하는 것.
• 목표 함수의 단조 변환에 대해 불변성을 확보함으로써, 복잡한 최적화 지형에서의 경험적 강건성을 확보하는 것.
• 최적화 과정을 새로운 기하학적 시각에서 분석함으로써, 더 날카롭고 일반적인 수렴 한계를 도출하는 것.
• 합성 및 MuJoCo 벤치마크에서 제안된 방법의 실용적 효과성을 입증함으로써 이론적 이점을 검증하는 것.

제안 방법

• GLD 알고리즘은 기울기 정보가 필요 없이 선택된 입력에서 목표 함수를 평가하기 위해 적응형 샘플링을 사용한다.
• 이 방법은 k차원 잠재 공간에서의 방향 탐색 시퀀스로 간주되는 기하학적 분석 프레임워크를 활용한다.
• 목표 함수의 단조 변환에 대해 불변하도록 설계되어, f(x)의 다양한 척도나 변환에 대해 일관된 성능을 보장한다.
• 수렴 분석은 잠재 차원 k, 조건 수 Q, 입력 직경 R, 그리고 원하는 정밀도 ϵ에 의존하는 새로운 경계를 사용한다.
• 목표 함수를 k차원 잠재 공간에서 매끄럽고 강력 볼록한 함수로 간주함으로써, 기하학적 시각에서 알고리즘의 안정성과 수렴성을 증명한다.
• ϵ-최적화에 도달하기 위해 O(kQ log(n) log(R/ϵ))의 함수 평가를 달성하며, 이는 n에 대해 다항로그 형태의 의존성을 갖는 첫 번째 수렴 속도이다.

실험 결과

연구 질문

• RQ1 기울기 추정에 의존하지 않고도 차원에 대해 다항로그 형태의 의존성을 갖는 제로스티프 최적화가 수렴 속도를 달성할 수 있는가?
• RQ2 목표 함수의 단조 변환에 대해 불변인 제로스티프 알고리즘을 설계할 수 있는가?
• RQ3 기하학적 분석 프레임워크가 고차원 환경에서 제로스티프 방법의 더 날카롭고 일반적인 수렴 한계를 도출할 수 있는가?
• RQ4 목표 함수의 잠재 차원 k가 기울기 없는 최적화의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 매끄럽고 강력 볼록성, 단조 불변성 등의 가정 하에 제안된 수렴 속도가 최적인가?

주요 결과

• GLD 알고리즘은 O(kQ log(n) log(R/ϵ))의 함수 평가 수를 통해 최적점의 ϵ-근처로 수렴하며, 이는 입력 차원 n에 대해 다항로그 형태의 의존성을 갖는 첫 번째 수렴 속도이다.
• 수렴 속도는 목표 함수의 단조 변환에 대해 불변이며, 이는 복잡한 환경에서의 강건성과 경험적 성공을 설명하는 데 기여한다.
• 기하학적 분석 프레임워크는 알고리즘의 수렴이 주어진 가정 하에 최적임을 드러내며, 이론적 날카로움을 입증한다.
• 이 방법은 수치적으로 안정적이며 기울기 추정이 필요 없어, 블랙박스 또는 노이즈가 있는 목표 함수에 적합하다.
• 합성 및 MuJoCo 벤치마크에서의 경험적 평가 결과, 특히 고차원 및 비볼록 환경에서의 효과성이 확인되었다.
• 잠재 차원 k ≥ n가 빠른 수렴을 달성하는 데 핵심 요소임이 입증되었으며, 고차원 문제에서 낮은 차원의 구조를 효과적으로 활용함을 보여준다.