[논문 리뷰] Optimal rates for zero-order convex optimization: the power of two function evaluations

John C. Duchi, Michael I. Jordan외 2명|arXiv (Cornell University)|2013. 12. 07.

Stochastic Gradient Optimization Techniques참고 문헌 38인용 수 6

한 줄 요약

이 논문은 반복마다 두 번의 함수 평가를 사용하는 제로오더 볼록 최적화의 최적 수렴 속도를 확립한다. 랜덤 편향을 통한 기울기 추정이 일阶 방법에 비해 최대 √d 요소의 수렴 속도 손실을 초래하며, 이러한 속도를 달성하는 단순한 알고리즘이 제안되며, 엄밀한 정보이론적 하한선에 의해 검증된다.

ABSTRACT

We consider derivative-free algorithms for stochastic and non-stochastic convex optimization problems that use only function values rather than gradients. Focusing on non-asymptotic bounds on convergence rates, we show that if pairs of function values are available, algorithms for $d$-dimensional optimization that use gradient estimates based on random perturbations suffer a factor of at most $\sqrt{d}$ in convergence rate over traditional stochastic gradient methods. We establish such results for both smooth and non-smooth cases, sharpening previous analyses that suggested a worse dimension dependence, and extend our results to the case of multiple ($m \ge 2$) evaluations. We complement our algorithmic development with information-theoretic lower bounds on the minimax convergence rate of such problems, establishing the sharpness of our achievable results up to constant (sometimes logarithmic) factors.

연구 동기 및 목표

• 기본적으로 함수 값에만 접근 가능한 제로오더 최적화의 수렴 속도에 대한 이해 격차를 메우기 위해.
• d차원 볼록 최적화에서 반복마다 두 번의 함수 평가를 사용할 경우 수렴 속도에 미치는 영향을 분석하기 위해.
• 최적의 속도를 달성하는 단순하고 효과적인 알고리즘을 랜덤 편향 기반 기울기 추정에 기반해 개발하기 위해.
• 제안된 알고리즘의 최적성 확인을 위해 엄밀한 정보이론적 하한선을 수립하기 위해.

제안 방법

• 랜덤 Z ∈ ℝ^d에 대해 θ와 θ + uZ에서 쌍으로 함수 평가를 수행하는 랜덤 기울기 추정기 제안.
• 목적 함수 f(θ) = ℰ[F(θ;X)]를 최소화하기 위해 추정 기울기를 사용하는 확률적 미러 내림과 확률적 기울기 하강법 사용.
• 두 평가 모델 하에서 매끄럽고 비매끄러운 볼록 함수에 대한 수렴 속도 유도.
• KL 발산과 핀스커 부등식을 포함한 정보이론적 기법을 적용하여 최소최대 최적화 오차의 하한선 유도.
• 구형 설계와 대칭성 논증을 사용하여 기울기 추정기의 기대 노름을 경계.
• 확률적 지배성과 농도 불등식을 사용하여 기울기 추정기의 분산 제어.

실험 결과

연구 질문

• RQ1 반복마다 두 번의 함수 평가가 가능한 d차원 제로오더 볼록 최적화에서 달성 가능한 최적 수렴 속도는 무엇인가?
• RQ2 두 번의 함수 평가를 사용할 경우 단일 평가 기반 방법에 비해 차원 의존성에 어떤 영향을 미치는가?
• RQ3 간단하고 랜덤화된 알고리즘이 상수나 로그 인자 수준에서 최적 속도를 달성할 수 있는가?
• RQ4 이 설정에서 최소최대 최적화 오차에 대한 가장 엄밀한 정보이론적 하한선은 무엇인가?
• RQ5 차원 d는 제로오더 최적화에서 달성 가능한 속도와 하한선 사이의 격차에 어떤 영향을 미치는가?

주요 결과

• 두 번의 평가를 사용하는 제로오더 최적화의 수렴 속도는 일阶 방법에 비해 최대 √d 요소의 손실을 겪으며, 이는 로그 인자 수준에서 최적이다.
• 매끄러운 볼록 함수의 경우, 제안된 알고리즘은 k회 반복 후 수렴 속도 𝒪(√d / √k)를 달성하며, 이는 상수 수준에서 하한선과 일치한다.
• 비매끄러운 볼록 함수의 경우, 알고리즘은 k회 반복 후 수렴 속도 𝒪(√d / k^{1/4})를 달성하며, 다시 한 번 로그 인자 수준에서 하한선과 일치한다.
• 최소최대 최적화 오차에 대한 정보이론적 하한선은 매끄러운 함수에 대해 Ω(√d / k^{1/2})이며, 비매끄러운 함수에 대해선 Ω(√d / k^{1/4})이다.
• 이전 컆퍼런스 버전의 오류를 수정하고, KL 발산과 핀스커 부등식을 사용한 하한선에 대한 새로운 더 견고한 논증을 제공한다.
• 결과는 m ≥ 2개의 함수 평가로 확장되며, 고차원에서 다수의 평가가 수렴 속도 향상에 기여함을 보여준다.