[논문 리뷰] Third-order Smoothness Helps: Even Faster Stochastic Optimization Algorithms for Finding Local Minima

Yaodong Yu, Pan Xu외 1명|arXiv (Cornell University)|2017. 12. 18.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 3

한 줄 요약

이 논문은 비볼록 문제에서 국소 최솟값으로의 수렴을 가속화하기 위해 제3차 미분 가능성(smoothness)을 활용하는 새로운 확률적 최적화 알고리즘을 제안한다. 고차 미분 가능성(smoothness)를 이용함으로써, 첫 번째 순서 오라클만을 사용하고 비용이 많이 드는 음의 곡률 계산을 최소화하면서도, 기존 최신 기술 대비 상당한 성능 향상을 이룬 Õ(ϵ⁻¹⁰ᐟ³)의 개선된 그래디언트 복잡도를 달성한다. 이는 이전 최신 기술의 Õ(ϵ⁻⁷ᐟ²) 평가 수보다 빠른 속도를 의미한다.

ABSTRACT

We propose stochastic optimization algorithms that can find local minima faster than existing algorithms for nonconvex optimization problems, by exploiting the third-order smoothness to escape non-degenerate saddle points more efficiently. More specifically, the proposed algorithm only needs $ ilde{O}(ε^{-10/3})$ stochastic gradient evaluations to converge to an approximate local minimum $\mathbf{x}$, which satisfies $\| abla f(\mathbf{x})\|_2\leqε$ and $λ_{\min}( abla^2 f(\mathbf{x}))\geq -\sqrtε$ in the general stochastic optimization setting, where $ ilde{O}(\cdot)$ hides logarithm polynomial terms and constants. This improves upon the $ ilde{O}(ε^{-7/2})$ gradient complexity achieved by the state-of-the-art stochastic local minima finding algorithms by a factor of $ ilde{O}(ε^{-1/6})$. For nonconvex finite-sum optimization, our algorithm also outperforms the best known algorithms in a certain regime.

연구 동기 및 목표

• 비볼록 문제에서 국소 최솟값을 찾는 데 더 빠른 확률적 최적화 알고리즘을 설계함으로써 계산 비용을 감소시키는 것.
• 목적 함수의 제3차 미분 가능성(smoothness)를 활용하여 비퇴화된 안장점에서의 탈출을 가속화하는 것.
• 기존의 확률적 국소 최솟값 찾기 알고리즘보다 더 빠른 수렴을 달성하면서도 첫 번째 순서 오라클에만 의존하는 것.
• 고차원 및 대규모 설정에서 비용이 많이 드는 음의 곡률 내림걸음 수를 최소화하는 것.

제안 방법

• 알고리즘은 제1차 확률적 그래디언트 하강법과 제3차 미분 가능성(smoothness)을 활용해 더 큰 스텝 사이즈를 가능하게 하는 새로운 음의 곡률 내림걸음 단계를 통합한다.
• 제3차 미분 가능성(smoothness)로 개선된 확률적 큐빅 정규화 방법의 변종을 사용하여 수렴 속도를 향상시킨다.
• 외부 반복마다 SCSG(스토하스틱 제어된 확률적 그래디언트) 에포크와 단일 음의 곡률 내림걸음 단계 사이를 동적으로 전환하는 방법을 사용한다.
• 농도 불확실성 불등식과 제3차 미분 가능성(smoothness)를 이용해 그래디언트 노름이 큰 반복 수를 제한하기 위한 새로운 분석 프레임워크를 개발한다.
• 음의 곡률 방향을 효율적으로 계산하기 위해 온라인 Oja 알고리즘과 FastPCA/Neon2를 활용한다.
• 이론적 분석을 통해 개선된 그래디언트 복잡도로 (ϵ, ϵH)-제2차 정류점에 수렴함을 입증한다.

실험 결과

연구 질문

• RQ1 목적 함수의 제3차 미분 가능성(smoothness)를 활용하여 확률적 비볼록 최적화에서 안장점 탈출을 가속화할 수 있는가?
• RQ2 제3차 미분 가능성(smoothness)를 사용할 경우, 확률적 국소 최솟값 찾기 알고리즘의 이론적 그래디언트 복잡도는 얼마나 향상되는가?
• RQ3 큐빅 하위문제를 해결하지 않고도 첫 번째 순서 오라클을 더 효율적으로 활용해 음의 곡률 방향을 근사화할 수 있는가?
• RQ4 빠른 국소 최솟값 수렴을 유지하면서도 비용이 많이 드는 음의 곡률 계산 횟수를 줄일 수 있는가?

주요 결과

• 제안된 알고리즘은 (ϵ, ϵH)-제2차 정류점에 도달하기 위해 Õ(ϵ⁻¹⁰ᐟ³)의 스토하스틱 그래디언트 평가를 수행하며, 이는 기존 최신 기술의 Õ(ϵ⁻⁷ᐟ²) 복잡도를 Õ(ϵ⁻¹ᐟ⁶)의 요소로 향상시킨다.
• 유한합 문제의 경우, 알고리즘은 Õ(n²ᐟ³ϵ⁻² + nϵH⁻² + n³ᐟ⁴ϵH⁻⁵ᐟ²)의 스토하스틱 그래디언트 평가가 필요하며, 특정 매개변수 영역에서는 기존 방법보다 뛰어난 성능을 보인다.
• 알고리즘은 반복당 음의 곡률 내림걸음 단계 수를 최대 하나로 줄여, 다수의 이러한 단계가 필요한 방법들에 비해 계산 오버헤드를 크게 감소시킨다.
• 제3차 미분 가능성(smoothness)를 활용함으로써, 음의 곡률 내림걸음 동안 더 큰 스텝 사이즈를 허용하여 수렴 속도 향상과 반복 효율성 향상을 이룬다.
• 이론적 분석을 통해 표준 미분 가능성 및 노이즈 가정 하에 알고리즘이 높은 확률로 국소 최솟값으로 수렴하며, 주 루프의 런타임 복잡도는 Õ(L³Δf/ϵH²) 이며, 음의 곡률 계산의 복잡도는 Õ(L²₁L³Δf/ϵH⁴)로 제한됨을 증명한다.