[논문 리뷰] Universal Stagewise Learning for Non-Convex Problems with Convergence on Averaged Solutions

Zaiyi Chen, Zhuoning Yuan외 4명|arXiv (Cornell University)|2018. 08. 19.

Stochastic Gradient Optimization Techniques인용 수 31

한 줄 요약

이 논문은 약한 볼록성(non-convex) 문제를 위한 유니버설 스테이지별 최적화 프레임워크를 제안하며, 스테이지별로 일정한 스텝 사이즈를 사용하고, 스테이지가 진행됨에 따라 증가하는 확률로 평균화된 해를 선택한다. 이 프레임워크는 이러한 설정에 대해 이론적으로 수렴 보장을 처음으로 확립하며, 특히 희소 그래디언트 설정에서 스테이지별 AdaGrad가 Sgd보다 적응적으로 수렴함을 보여준다.

ABSTRACT

Although stochastic gradient descent (SGD) method and its variants (e.g., stochastic momentum methods, AdaGrad) are the choice of algorithms for solving non-convex problems (especially deep learning), there still remain big gaps between the theory and the practice with many questions unresolved. For example, there is still a lack of theories of convergence for SGD and its variants that use stagewise step size and return an averaged solution in practice. In addition, theoretical insights of why adaptive step size of AdaGrad could improve non-adaptive step size of {\\sgd} is still missing for non-convex optimization. This paper aims to address these questions and fill the gap between theory and practice. We propose a universal stagewise optimization framework for a broad family of {\\bf non-smooth non-convex} (namely weakly convex) problems with the following key features: (i) at each stage any suitable stochastic convex optimization algorithms (e.g., SGD or AdaGrad) that return an averaged solution can be employed for minimizing a regularized convex problem; (ii) the step size is decreased in a stagewise manner; (iii) an averaged solution is returned as the final solution that is selected from all stagewise averaged solutions with sampling probabilities {\\it increasing} as the stage number. Our theoretical results of stagewise AdaGrad exhibit its adaptive convergence, therefore shed insights on its faster convergence for problems with sparse stochastic gradients than stagewise SGD. To the best of our knowledge, these new results are the first of their kind for addressing the unresolved issues of existing theories mentioned earlier. Besides theoretical contributions, our empirical studies show that our stagewise SGD and ADAGRAD improve the generalization performance of existing variants/implementations of SGD and ADAGRAD.

연구 동기 및 목표

• 실제로 사용되는 확률적 최적화 알고리즘의 수렴 분석에 대한 이론적 격차를 메우기 위해, 특히 스테이지별로 일정한 스텝 사이즈를 사용하고 평균화된 해를 반환하는 알고리즘에 초점을 맞춘다.
• 딥러닝에서 흔히 쓰이는 히وري스틱(예: 스텝 사이즈 감소, 해의 평균화)을 정당화하는 통합된 이론적 프레임워크를 제공한다.
• 왜 AdaGrad의 적응적 스텝 사이즈가 비볼록 최적화에서 특히 희소 그래디언트 상황에서 비적응적 Sgd보다 우수한지 설명한다.
• 실제 알고리즘 히وري스틱(예: 스텝 사이즈 감소, 해의 평균화)을 따르는 비미분 가능하고 비볼록(약한 볼록성) 문제의 광범위한 클래스에 대해 수렴을 확립한다.

제안 방법

• 각 스테이지에서 일정한 스텝 사이즈를 사용하고, 정규화된 볼록 문제를 최소화하기 위해 스토하스틱 볼록 최적화 알고리즘(예: Sgd, AdaGrad)을 사용하는 스테이지별 최적화 과정을 적용한다.
• 각 스테이지에서 평균화된 해를 반환하며, 최종 해는 스테이지 번호가 증가함에 따라 증가하는 확률로 모든 스테이지의 평균화된 해 중에서 무작위로 선택된다.
• 스텝 사이즈는 스테이지 간에 다항 감소 계획에 따라 감소하여 이론적 수렴 분석을 가능하게 한다.
• 쌍대 갭을 유계화하고 수렴 속도를 유도하기 위해 페인첼 쌍대성 및 강한 볼록성 성질을 활용한다.
• 스토하스틱 오차 항을 제어하기 위해 마틴갈 차분 수열과 유계 그래디언트 가정을 사용한다.
• Sgd, 스토하스틱 헤비볼, 네스테로프 방법, ADMM, AdaGrad 등 여러 기본 알고리즘에 프레임워크를 적용하고, 통합된 수렴 증명을 제공한다.

실험 결과

연구 질문

• RQ1 스테이지별 일정한 스텝 사이즈를 사용하고 평균화된 해를 반환하는 확률적 최적화 알고리즘에 대해 이론적 수렴 보장을 확립할 수 있는가?
• RQ2 왜 AdaGrad는 비볼록 설정에서 희소 그래디언트 상황에서 Sgd보다 빠르게 수렴하는가? 이는 이론적으로 설명할 수 있는가?
• RQ3 스테이지별 스텝 사이즈와 해의 평균화 조합이 비볼록 최적화에서 일반화 성능을 향상시키는가?
• RQ4 스텝 사이즈 감소와 해의 평균화와 같은 실용적 히وري스틱을 따르는 다수의 확률적 알고리즘을 분석할 수 있는 통합 프레임워크를 개발할 수 있는가?

주요 결과

• 제안된 스테이지별 AdaGrad 프레임워크는 적응적 수렴을 달성하며, 스토하스틱 그래디언트가 희소한 문제에서는 스테이지별 Sgd보다 더 빠른 수렴 속도를 보인다.
• 이론적 분석을 통해 스테이지별 프레임워크에서 평균화된 해의 수렴을 입증하였으며, 최종 해는 스테이지가 진행됨에 따라 증가하는 확률로 선택된다.
• 다항 스텝 사이즈 감소 계획 하에 스테이지별 Sgd와 AdaGrad에 대해 평균화된 해를 포함한 수렴 보장을 처음으로 확립하였다.
• 분석 결과, 기대 최적성 갭은 $ \frac{1}{M\eta}\|\mathbf{x}_0 - \mathbf{x}_*\|^2 + \frac{\eta}{M} $ 로 유계화되며, $ M $ 은 스테이지 수를 제어한다.
• 기존 이론은 후행 반복을 선호하는 데 반해, 제안된 샘플링 체계 하에서 더 나은 수렴을 보임을 보여주며, 해의 평균화라는 실용적 히وري스틱을 정당화한다.
• 실험 결과는 스테이지별 Sgd와 AdaGrad가 딥러닝 벤치마크에서 표준 버전 대비 일반화 성능을 향상시킴을 확인한다.