[논문 리뷰] Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits

Arya Akhavan, Massimiliano Pontil외 1명|arXiv (Cornell University)|2020. 06. 14.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 18

한 줄 요약

이 논문은 0차 확률적 최적화와 연속 밴딧에서 수렴성을 향상시키기 위해 고차수 연속성(Hölder 매개수 β ≥ 2)을 활용하는 랜덤화되고 도함수를 필요로 하지 않는 최적화 알고리즘을 제안한다. 두 점에서의 함수 평가와 스무딩 커널, 그리고 투영된 경사하강법을 사용함으로써, 거의 최적의 샘플 복잡도와 최소최대 속도를 달성하며, 최적화 오차는 $\mathcal{O}(d/\sqrt{\alpha T} + d^2/( \alpha T))$로 유계화된다. 이는 강한 볼록성과 연속성 가정 하에 이전 작업보다 크게 향상된다.

ABSTRACT

We study the problem of zero-order optimization of a strongly convex function. The goal is to find the minimizer of the function by a sequential exploration of its values, under measurement noise. We study the impact of higher order smoothness properties of the function on the optimization error and on the cumulative regret. To solve this problem we consider a randomized approximation of the projected gradient descent algorithm. The gradient is estimated by a randomized procedure involving two function evaluations and a smoothing kernel. We derive upper bounds for this algorithm both in the constrained and unconstrained settings and prove minimax lower bounds for any sequential search method. Our results imply that the zero-order algorithm is nearly optimal in terms of sample complexity and the problem parameters. Based on this algorithm, we also propose an estimator of the minimum value of the function achieving almost sharp oracle behavior. We compare our results with the state-of-the-art, highlighting a number of key improvements.

연구 동기 및 목표

• 강한 볼록성과 노이즈 조건 하에서 고차수 연속성(β ≥ 2)이 0차 최적화의 오차와 누적 손실에 미치는 영향을 연구하는 것.
• 도함수 없이 기울기를 추정하기 위해 두 점에서의 함수 평가와 스무딩 커널을 사용하는 랜덤화된 투영 경사하강 알고리즘을 개발하는 것.
• 차원 d, 강한 볼록성 α, 연속성 β, 노이즈 수준 σ에 명시적으로 의존하는 최적화 오차와 손실에 대한 날카운 상한을 유도하는 것.
• 정보 이론적 추론을 통해 최소최대 하한을 설정하여 제안된 알고리즘이 문제 매개수 전반에 걸쳐 거의 최적임을 입증하는 것.
• 최소 함수 값에 대한 추정기 알고리즘을 제안하여 거의 날카로운 오라클 행동을 달성하는 것.

제안 방법

• rₜ ∈ [-1,1] 이고 ζₜ가 단위 구면 위에서 균일 분포를 가지는 경우, xₜ ± hₜrₜζₜ에서 두 함수 평가를 기반으로 한 랜덤화된 기울기 추정기 사용.
• f의 고차수 연속성을 활용하기 위해 기울기 추정기에 스무딩 커널 K(rₜ)를 적용하여 추정 정확도 향상.
• 강한 볼록성 조건 하에서 수렴을 보장하기 위해 단계 크기 ηₜ = 1/(αt)를 사용하는 투영 경사하강법 구현.
• 연속성과 노이즈 항을 포함한 기대 최적성의 재귀적 분석을 통해 최적화 오차와 손실에 대한 상한 유도.
• 2-연속성 함수를 초월해 수렴을 향상시키기 위해 커널 기반 근사 사용; 이는 이전 연구에서 L-연속성만을 가정한 것과는 다릅니다.
• 정보 이론적 추론을 통해 최소최대 하한을 설정하여 제안된 알고리즘이 기본 한계에 거의 매칭됨을 입증함.

실험 결과

연구 질문

• RQ1 강한 볼록성과 노이즈 조건 하에서 고차수 연속성(β ≥ 2)이 0차 최적화의 수렴 속도에 미치는 영향은 무엇인가?
• RQ2 스무딩 커널을 사용하는 두 점 기반 랜덤화 기울기 추정기로는 도함수 없이 거의 최적의 손실과 최적화 오차를 달성할 수 있는가?
• RQ3 기울기 추정의 편향과 분산을 균형 잡기 위해 최적의 단계 크기와 스무딩 매개수 hₜ는 무엇인가?
• RQ4 차원 d, 강한 볼록성 α, 노이즈 수준 σ가 함께 최소최대 수렴 속도에 미치는 영향은 무엇인가?
• RQ5 제안된 알고리즘은 최소 함수 값 추정에서 거의 날카로운 오라클 행동을 달성할 수 있는가?

주요 결과

• 제안된 알고리즘의 최적화 오차는 $\mathbb{E}[f(\hat{x}_T) - f(x^*)] \leq A_8 \frac{d}{\sqrt{\alpha T}} + A_9 \frac{d^2}{\alpha T}$로 유계화되며, 여기서 A₈와 A₉는 d, α, T에 독립적인 상수이다.
• 누적 손실은 $\min(GBT, 2\sqrt{3L}\sigma \frac{d}{\sqrt{\alpha}} \sqrt{T} + \frac{C^* G^2}{2} \frac{d}{\alpha}(1 + \log T))$로 유계화되어 T와 d에 대해 거의 최적의 의존성을 보인다.
• 알고리즘은 거의 최소최대 최적 속도를 달성하며, 유도된 최소최대 하한과 로그 인자 외에는 상한이 일치한다.
• 스무딩 커널 K(rₜ)의 사용은 고차수 연속성(β ≥ 2)을 활용할 수 있게 하여, 2-연속성만을 가정한 기존 방법보다 향상된 수렴을 이끌어낸다.
• 최소 값에 대한 제안된 추정기는 거의 날카로운 오라클 행동을 달성하며, 정보 이론적 한계에 매우 가까운 오차율을 보인다.
• 이전 연구를 일반화하여 고차수 연속성을 통합하고, 제약 조건이 있는 및 없는 설정 모두에 대해 더 날카운 매개수 기반 상한을 제공한다.