[논문 리뷰] Natasha 2: Faster Non-Convex Optimization Than SGD

Zeyuan Allen-Zhu|arXiv (Cornell University)|2017. 08. 29.

Advanced Bandit Algorithms Research인용 수 53

한 줄 요약

Natasha 2는 Oja의 알고리즘을 통한 음의 구배 단계와 1차 업데이트를 번갈아 수행하여 매끄러운 비볼록 최적화에서 근사 국소 최솟값을 더 빠르게 찾는 온라인 확률적 방법을 제시하며, 우호적 설정에서 T = eO(1/ε3.25)을 달성합니다.

ABSTRACT

We design a stochastic algorithm to train any smooth neural network to $\varepsilon$-approximate local minima, using $O(\varepsilon^{-3.25})$ backpropagations. The best result was essentially $O(\varepsilon^{-4})$ by SGD. More broadly, it finds $\varepsilon$-approximate local minima of any smooth nonconvex function in rate $O(\varepsilon^{-3.25})$, with only oracle access to stochastic gradients.

연구 동기 및 목표

• 매끄러운 비볼록 목표함수에서 ε-근사 국소최솟값을 찾는 데 SGD보다 우수한 온라인 알고리즘 설계를 고무한다.
• 제한된 비볼록성(σ) 및 음의 곡률 방향을 활용하여 수렴 속도를 높인다.
• 전체 기울기나 해시안(Hessian) 없이도 곡률 정보를 온라인으로 활용하도록 Natasha1.5와 Natasha2를 개발한다.
• 이전의 온라인 방법들에 비해 이론적 보장과 점근적 기울기(및 해시안) 복잡도 향상을 제공한다.

제안 방법

• 재접함(term) 항을 사용하여 업데이트를 안정화하고 σ-제한된 비볼록성을 활용하는 Natasha1.5( Natasha1의 온라인 변형)를 도입한다.
• S Natasha1.5를 Oja의 온라인 알고리즘과 결합하여 saddle point가 감지될 때 음의 곡률 단계를 수행한다.
• 변형 함수에서 Natasha1.5를 사용해 안전하게 목적함수를 감소시키는 것과 음의 곡률을 이용해 탈출하는 것을 번갈아 수행하는 방식으로 Natasha2를 정식으로 정의한다.
• 일반적 매끄러움 가정과 σ-제한된 비볼록성 가정하에 ε-근사 정지점과 (ε, δ)-근사 국소최솟값으로의 수렴을 입증한다.
• 볼록함수 ψ를 갖는 F(x)=ψ(x)+f(x)를 최소화하기 위한 근사 확장(proximal extension)을 제공한다.
• 기존의 SGD/SCSG/NEON 기반 방법들과 온라인 속도를 비교한다.

실험 결과

연구 질문

• RQ1 온라인 확률적 방법이 σ-제한된 비볼록성을 활용하여 SGD를 넘어 수렴을 가속시킬 수 있는가?
• RQ2 음의 곡률 방향과 1차 업데이트를 결합해 온라인에서 신뢰성 있게 saddle point를 탈출할 수 있는가?
• RQ3 검증 가능한 보장으로 saddle point를 탈출하는 것과 근사 국소최솟값으로 수렴하는 것 사이를 번갈아 가며 수행하는 온라인 알고리즘을 어떻게 설계할 수 있는가?
• RQ4 이러한 온라인 스키마의 그래디언트 및 (해당되는 경우) 해시안-벡터 곱의 복잡도는 기존 방법과 비교하여 어떠한가?

주요 결과

• Natasha1.5는 σ-제한된 비볼록성과 매끄러움 하에서 온라인 기울기 복잡도 T = Θ(L2/3 σ1/3 ε10/3)를 달성하여 이전 온라인 속도보다 개선된다.
• Natasha2는 Oja의 온라인 고유벡터 찾기와 Natasha1.5를 결합하여 ∥∇f(x)∥ ≤ ε 및 ∇2f(x) ⪰ −δI를 만족하는 ε-근사 국소최솟값을 T = eO(1/δ5 + 1/(δ ε3) + 1/ε3.25)에서 찾는 온라인 알고리즘을 얻는다.
• Corollaries show T = eO(ε−3.25) for (ε, ε1/4)-approximate local minima and T = eO(ε−3.5) for (ε, ε1/2)-approximate local minima, surpassing several prior online methods.
• Natasha2는 Hessian-vector 곱을 그래디언트 차이로 대체하는 것을 통해 추후 연구에서 순수한 1차 방법으로 구현 가능한 역량이 있으며, 수렴 보장을 유지한다.
• 프레임워크는 정확한 전체 그래디언트나 해시안 계산 없이도 음의 곡률 방향과 제어된 섭동을 활용하여 saddle point를 넘나드는 방법을 명확히 한다.