[논문 리뷰] Second-Order Information in Non-Convex Stochastic Optimization: Power and Limitations

Yossi Arjevani, Yair Carmon외 4명|arXiv (Cornell University)|2020. 06. 24.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 단지 확률적 그래디언트와 헤시안-벡터 곱만을 사용하여 $\epsilon$-근사 1차 정류점(\epsilon$-approximate first-order stationary points)을 찾는 데 최적의 $O(\epsilon^{-3})$ 오라클 복잡도를 달성하는 새로운 확률적 최적화 알고리즘을 제안한다. 이는 고차원 방법($p \geq 2$)이 조차도 립시츠 조건을 만족하는 고차 도함수를 가질지라도 이 속도를 향상시킬 수 없음을 보여주는 날카운 하한값을 수립한다. 이는 확률적 비볼록 최적화에서 근본적인 '팔꿈치 효과'(elbow effect)를 드러낸다.

ABSTRACT

We design an algorithm which finds an $\\epsilon$-approximate stationary point (with $\\|\ abla F(x)\\|\\le \\epsilon$) using $O(\\epsilon^{-3})$ stochastic gradient and Hessian-vector products, matching guarantees that were previously available only under a stronger assumption of access to multiple queries with the same random seed. We prove a lower bound which establishes that this rate is optimal and---surprisingly---that it cannot be improved using stochastic $p$th order methods for any $p\\ge 2$, even when the first $p$ derivatives of the objective are Lipschitz. Together, these results characterize the complexity of non-convex stochastic optimization with second-order methods and beyond. Expanding our scope to the oracle complexity of finding $(\\epsilon,\\gamma)$-approximate second-order stationary points, we establish nearly matching upper and lower bounds for stochastic second-order methods. Our lower bounds here are novel even in the noiseless case.

연구 동기 및 목표

• 비볼록 확률적 최적화에서 $\epsilon$-정류점 및 $(\epsilon,\gamma)$-두 번째 차수 정류점($\epsilon$-stationary and $(\epsilon,\gamma)$-second-order stationary points)을 찾는 데 필요한 오라클 복잡도를 규명하는 것.
• 확률적 헤시안-벡터 곱이나 고차 정보 접근이 1차 방법을 초월해 수렴 속도를 향상시킬 수 있는지 조사하는 것.
• 수렴을 위해 필요한 확률적 그래디언트 및 헤시안-벡터 쿼리 수에 대한 날카운 상한 및 하한을 수립하는 것.
• 확률적 설정에서 고차원 방법($p \geq 2$)이 $O(\epsilon^{-3})$ 속도를 초월할 수 있는지 여부에 대한 열린 질문을 해결하는 것.

제안 방법

• 노이즈를 줄이기 위해 확률적 그래디언트와 헤시안-벡터 곱을 활용하는 새로운 분산 감소 그래디언트 추정기 설계.
• 적응형 스텝 사이즈와 모멘타임을 결합한 새로운 알고리즘 도입으로 정류점 수렴 속도를 가속화.
• 분산과 곡률을 제어하는 재귀적 내림내림 프레임워크를 활용해 안정성과 수렴 보장을 유지.
• 모든 $p$차 미분 확률적 방법($p \geq 2$)의 최악의 행동을 포괄하는 철저히 구성된 딱딱한 사례를 통해 하한값 유도.
• 이중성 기반의 추론을 통해 $O(\epsilon^{-3})$ 복잡도가 강한 미분 가능성 및 고차 도함수의 립시츠 조건 하에서도 날카로운 것으로 입증.
• 그래디언트 분산, 헤시안 노이즈, 곡률 제약 간의 최적 균형을 확보하기 위한 파라미터 튜닝 전략 적용.

실험 결과

연구 질문

• RQ1 확률적 헤시안-벡터 곱이 $\epsilon$-정류점의 오라클 복잡도를 $O(\epsilon^{-3})$ 이하로 낮출 수 있는가?
• RQ2 립시츠 조건을 만족하는 고차 도함수를 가질지라도, 확률적 비볼록 최적화에서 고차원 방법($p \geq 2$)의 향상에 근본적인 한계가 존재하는가?
• RQ3 $(\epsilon,\gamma)$-두 번째 차수 정류점($(\epsilon,\gamma)$-SOSPs)을 찾는 데 있어 그래디언트와 헤시안-벡터 쿼리 복잡도 간의 최적 트레이드오프는 무엇인가?
• RQ4 확률적 헤시안 추정치의 노이즈가 두 번째 차수 방법을 초월한 향상 가능성을 방해하는가?
• RQ5 $(\epsilon,\gamma)$-SOSPs 탐색에서 오라클 복잡도가 $\gamma$에 따라 어떻게 스케일링되는가? 이는 효율적인 알고리즘으로 따라올 수 있는가?

주요 결과

• 제안된 알고리즘은 $\epsilon$-정류점의 찾기에 $O(\epsilon^{-3})$의 확률적 그래디언트 및 헤시안-벡터 곱 쿼리 복잡도를 달성하며, 더 강한 가정 하에서도 알려진 최고의 속도와 일치한다.
• 일치하는 $\Omega(\epsilon^{-3})$ 하한값이 증명되어, $p \geq 2$인 어떤 확률적 $p$차 미분 방법도 이 속도를 초월할 수 없음을 보여준다.
• $(\epsilon,\gamma)$-SOSPs의 경우, 알고리즘은 $O(\epsilon^{-3} + \epsilon^{-2}\gamma^{-2} + \gamma^{-5})$의 쿼리 복잡도를 달성하며, 거의 $\Omega(\epsilon^{-3} + \gamma^{-5})$ 하한값과 일치한다.
• 노이즈가 없는 경우에도 하한값이 유지되어 두 번째 차수 방법에 대한 근본적인 복잡도 장벽을 확립한다.
• 분석을 통해 확률적 최적화에서 '팔꿈치 효과'가 드러나며, 1차 방법의 $\epsilon^{-4}$에서 2차 방법의 $\epsilon^{-3}$으로 복잡도가 급격히 감소하지만, $p \geq 2$에서는 더 이상 향상되지 않는 것으로 나타난다.
• 강한 미분 가능성 조건을 가진 고차 도함수를 가질지라도, 확률적 설정에서 고차 정보는 두 번째 차수 방법을 초월해 도움이 되지 않는 것으로 드러났다.