[논문 리뷰] Near-Optimal Methods for Minimizing Star-Convex Functions and Beyond

Oliver Hinder, Aaron Sidford외 1명|arXiv (Cornell University)|2019. 06. 27.

Sparse and Compressive Sensing Techniques참고 문헌 47인용 수 6

한 줄 요약

이 논문은 매개수 $\gamma \in (0,1]$를 가진 쿼사-볼록 함수의 최소화를 위한 near-optimal인 가속된 일阶 방법을 제안한다. 이 방법은 $\epsilon$-최적 해를 찾기 위해 $O(\gamma^{-1}\epsilon^{-1/2}\log(\gamma^{-1}\epsilon^{-1}))$회의 함수 및 그래디언트 평가를 수행하며, 이는 $\Omega(\gamma^{-1}\epsilon^{-1/2})$의 하한과 일치하여 로그 인자 외에는 near-최적임을 입증한다.

ABSTRACT

In this paper, we provide near-optimal accelerated first-order methods for minimizing a broad class of smooth nonconvex functions that are strictly unimodal on all lines through a minimizer. This function class, which we call the class of smooth quasar-convex functions, is parameterized by a constant $γ\in (0,1]$, where $γ= 1$ encompasses the classes of smooth convex and star-convex functions, and smaller values of $γ$ indicate that the function can be "more nonconvex." We develop a variant of accelerated gradient descent that computes an $ε$-approximate minimizer of a smooth $γ$-quasar-convex function with at most $O(γ^{-1} ε^{-1/2} \log(γ^{-1} ε^{-1}))$ total function and gradient evaluations. We also derive a lower bound of $Ω(γ^{-1} ε^{-1/2})$ on the worst-case number of gradient evaluations required by any deterministic first-order method, showing that, up to a logarithmic factor, no deterministic first-order method can improve upon ours.

연구 동기 및 목표

• 최소화점으로 통과하는 직선을 따라 구조적 단조성(uni모달리티)을 가지는 매끄러운 비볼록 함수를 효율적으로 최소화할 수 있는 일阶 최적화 방법을 개발하는 것.
• 볼록성 이외의 광범위한 비볼록 함수 클래스에 대해 결정론적 일阶 방법의 쿼리 복잡도를 특성화하는 것.
• 에프리미엄 해를 찾기 위해 필요한 함수 및 그래디언트 평가 횟수에 대한 날카로운 상한과 하한을 수립하는 것.
• 가속된 그라디언트 디센트를 $\gamma$-쿼사-볼록 함수의 클래스로 일반화하는 것. 여기서 $\gamma=1$은 스타-볼록성에 대응하며, 더 작은 $\gamma$는 더 높은 비볼록성을 의미한다.
• 실제 성능와 최악의 이론적 하한 사이의 격차를 메우기 위해 가속화에 유리한 기하학적 특성을 지닌 함수 클래스를 규명하는 것.

제안 방법

• 저자들은 $\gamma$-쿼사-볼록 함수에 특화된 가속된 그라디언트 디센트의 변종을 제안하며, 매개수 $\gamma$를 고려한 곡률 기반 단계 크기 규칙을 통합한다.
• 쿼사-볼록성 조건인 $f(x^*) \geq f(x) + \frac{1}{\gamma} \nabla f(x)^\top (x^* - x)$를 활용하여 모멘텀 기반 업데이트 방식을 사용함으로써 최소화점으로의 충분한 진전을 보장한다.
• 핵심 요소로는 최소화점으로의 진전을 추적하는 포텐셜 함수를 사용하여, 쿼사-볼록성 가정 하에 수렴을 보장한다.
• 기울기가 사라질 경우 반복값의 흐름을 유지하는 0-저항성(Zero-respecting) 설계를 통해 더 날카로운 하한 분석이 가능하도록 한다.
• 리아푸노프 함수 기법과 함께, 강한 쿼사-볼록 문제에서 쿼사-볼록 문제로의 새로운 감소 기법을 결합하여 하한을 도출한다.
• 이 방법은 $\epsilon$-최적성에 대해 $O(\gamma^{-1}\epsilon^{-1/2}\log(\gamma^{-1}\epsilon^{-1}))$회의 함수 및 그래디언트 평가를 달성한다.

실험 결과

연구 질문

• RQ1 가속된 일阶 방법는 최소화점으로 통과하는 직선을 따라 단조성을 가지는 광범위한 비볼록 함수 클래스에 대해 near-최적 수렴 속도를 달성할 수 있는가?
• RQ2 매끄러운 $\gamma$-쿼사-볼록 함수를 최소화할 때 최적의 쿼리 복잡도(함수 및 그래디언트 평가 횟수)는 무엇인가?
• RQ3 비볼록성 매개수 $\gamma$는 일阶 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 이 함수 클래스에 대해 결정론적 일阶 방법에 대해 날카로운 하한을 수립할 수 있는가?
• RQ5 이론적 하한과 정확히 일치하는 증명 가능한 최적 알고리즘이 $\gamma$-쿼사-볼록 함수 최소화에 존재하는가?

주요 결과

• 제안된 가속된 그라디언트 디센트 변종은 매끄러운 $\gamma$-쿼사-볼록 함수의 $\epsilon$-최적 해를 찾기 위해 총 $O(\gamma^{-1}\epsilon^{-1/2}\log(\gamma^{-1}\epsilon^{-1}))$회의 함수 및 그래디언트 평가를 수행한다.
• 모든 결정론적 일阶 방법에 대해 $\Omega(\gamma^{-1}\epsilon^{-1/2})$의 일치하는 하한이 확립되어, 제안된 방법이 로그 인자 외에는 near-최적임을 입증한다.
• $\gamma$-쿼사-볼록 함수의 클래스는 매끄러운 볼록 함수와 스타-볼록 함수를 일반화하며, $\gamma=1$은 스타-볼록성에 대응하고, 더 작은 $\gamma$는 더 높은 비볼록성을 의미한다.
• 하한은 강한 쿼사-볼록 함수에서 쿼사-볼록 함수로의 감소를 통해 유도되었으며, 강한 볼록 최소화 문제에 대해 알려진 하한을 활용한다.
• 분석 결과 복잡도는 $\gamma^{-1}$에 의존함을 보여주며, 함수가 더 비볼록해지면(즉, $\gamma$가 작아지면) 필요한 평가 횟수가 $\gamma$에 대해 역수로 증가함을 시사한다.
• 구조적 비볼록 함수 중 최소화점으로 통과하는 직선을 따라 단조성을 가지는 함수는 일반적인 비볼록 함수에 비해 훨씬 더 빠른 최적화가 가능함을 시사하며, 이는 전역 최소값이 유일하지 않을 경우에도 성립한다.