[논문 리뷰] Finding Local Minima via Stochastic Nested Variance Reduction

Dongruo Zhou, Pan Xu외 1명|arXiv (Cornell University)|2018. 06. 22.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 12

한 줄 요약

이 논문은 비볼록 최적화에서 (ϵ, ϵH)-두 번째 순서 정류점으로의 수렴을 가속화하기 위해 스위치드 내재된 분산 감소와 음의 곡률 탐지 기법을 활용하는 SNVRG+ + Neon2 알고리즘을 제안한다. 이 방법은 유한합 문제에 대해 eO(n^{1/2}ϵ^{-2} + nϵ_H^{-3} + n^{3/4}ϵ_H^{-7/2}) 및 일반적인 스위치드 문제에 대해 eO(ϵ^{-3} + ϵ_H^{-5} + ϵ^{-2}ϵ_H^{-3})의 개선된 그래디언트 복잡도를 달성하며, 넓은 범위에서 기존 최상의 방법들을 능가한다.

ABSTRACT

We propose two algorithms that can find local minima faster than the state-of-the-art algorithms in both finite-sum and general stochastic nonconvex optimization. At the core of the proposed algorithms is $ ext{One-epoch-SNVRG}^+$ using stochastic nested variance reduction (Zhou et al., 2018a), which outperforms the state-of-the-art variance reduction algorithms such as SCSG (Lei et al., 2017). In particular, for finite-sum optimization problems, the proposed $ ext{SNVRG}^{+}+ ext{Neon2}^{ ext{finite}}$ algorithm achieves $ ilde{O}(n^{1/2}ε^{-2}+nε_H^{-3}+n^{3/4}ε_H^{-7/2})$ gradient complexity to converge to an $(ε, ε_H)$-second-order stationary point, which outperforms $ ext{SVRG}+ ext{Neon2}^{ ext{finite}}$ (Allen-Zhu and Li, 2017) , the best existing algorithm, in a wide regime. For general stochastic optimization problems, the proposed $ ext{SNVRG}^{+}+ ext{Neon2}^{ ext{online}}$ achieves $ ilde{O}(ε^{-3}+ε_H^{-5}+ε^{-2}ε_H^{-3})$ gradient complexity, which is better than both $ ext{SVRG}+ ext{Neon2}^{ ext{online}}$ (Allen-Zhu and Li, 2017) and Natasha2 (Allen-Zhu, 2017) in certain regimes. Furthermore, we explore the acceleration brought by third-order smoothness of the objective function.

연구 동기 및 목표

• 비볼록 최적화 문제에서 국소 최소값을 더 빠르게 찾는 알고리즘 개발.
• 유한합 및 일반적인 스위치드 설정 모두에서 (ϵ, ϵH)-두 번째 순서 정류점에 도달하기 위한 그래디언트 복잡도 향상.
• 스위치드 내재된 분산 감소(SNVRG+)를 Neon2 프레임워크와 통합하여 효율적인 음의 곡률 탐지 수행.
• SVRG + Neon2 및 Natasha2와 같은 기존 알고리즘들과 비교해 뛰어난 수렴 속도를 입증.

제안 방법

• 마지막 반복을 출력으로 사용하는 랜덤 에포크 길이를 사용하는 SNVRG의 변형인 One-epoch-SNVRG+를 도입하여 각 에포크의 마지막 반복에 대한 수렴 보장을 향상시킴.
• 비볼록 유한합 문제에서 그래디언트 분산을 감소시키기 위해 스위치드 내재된 분산 감소 기법을 활용.
• One-epoch-SNVRG+를 Neon2 알고리즘과 결합하여 헤시안 행렬 계산 없이 음의 곡률 방향을 탐지.
• 적응형 스텝 사이즈와 모멘텀 유사 업데이트를 포함한 재귀적 분산 감소 기법을 사용해 수렴 안정성 향상.
• 이론적 경계를 유도하기 위해 조건부 기대값과 텔레스코프 부등식을 적용하여 그래디언트 노름과 함수 값 감소에 대한 분석.
• 특정 영역에서 수렴 속도를 더욱 가속화하기 위해 삼차 미분 가능성 조건을 활용.

실험 결과

연구 질문

• RQ1 스위치드 내재된 분산 감소 기법이 비볼록 최적화에서 두 번째 순서 정류점을 효과적으로 찾는 데 적합한가?
• RQ2 One-epoch-SNVRG+가 기존의 일阶 방법에 비해 유한합 문제에서 더 낮은 그래디언트 복잡도를 달성하는가?
• RQ3 SNVRG+와 Neon2의 통합이 일반적인 스위치드 최적화에서 SVRG + Neon2 및 Natasha2를 능가하는가?
• RQ4 목적 함수의 삼차 미분 가능성 조건이 제안된 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 제안된 알고리즘이 (ϵ, ϵH)-정류점에 도달하기 위한 이론적 그래디언트 복잡도는 무엇인가?

주요 결과

• SNVRG+ + Neon2finite 알고리즘은 유한합 문제에서 eO(n^{1/2}ϵ^{-2} + nϵ_H^{-3} + n^{3/4}ϵ_H^{-7/2})의 그래디언트 복잡도를 달성하며, 넓은 범위에서 SVRG + Neon2finite를 능가한다.
• SNVRG+ + Neon2online 알고리즘은 일반적인 스위치드 문제에서 eO(ϵ^{-3} + ϵ_H^{-5} + ϵ^{-2}ϵ_H^{-3})의 그래디언트 복잡도를 달성하며, 특정 영역에서 SVRG + Neon2online 및 Natasha2를 모두 초월한다.
• 이론적 분석을 통해 One-epoch-SNVRG+가 각 에포크의 마지막 반복에 대해 수렴 보장을 제공함을 확인하여 Neon2와의 안정적 통합 가능성을 입증.
• Neon2를 통한 그래디언트 기반 음의 곡률 탐지 기법을 통해 명시적 헤시안 행렬 계산을 피함.
• 삼차 미분 가능성 조건 하에서의 경험적 성능 향상이 더욱 두드러지며, 그래디언트 복잡도가 추가로 감소함.
• 증명 프레임워크는 분산과 그래디언트 노름 감쇠를 제어하기 위해 텔레스코프 부등식과 조건부 기대값 경계에 기반함.