[논문 리뷰] Stochastic Gradient Descent for Nonconvex Learning without Bounded Gradient Assumptions

Yunwen Lei, Ting Hu외 2명|arXiv (Cornell University)|2019. 02. 03.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 10

한 줄 요약

이 논문은 이전 연구에서 자주 사용되지만 검증하기 어려운 유한 기울기 조건을 요구하지 않고도 비볼록 최적화에서 확률적 경사 하강법(SGD)의 수렴 보장을 수립한다. 허더링 연속 기울기와 폴리악-로자예프스키(Lojasiewicz) 조건을 활용하여, 거의 확실 수렴과 최적의 $O(1/t)$ 수렴 속도를 증명하며, 기울기 분산이 0인 조건 하에서는 선형 수렴을 확보한다. 이는 딥러닝에서 SGD의 이론적 기반을 크게 강화한다.

ABSTRACT

Stochastic gradient descent (SGD) is a popular and efficient method with wide applications in training deep neural nets and other nonconvex models. While the behavior of SGD is well understood in the convex learning setting, the existing theoretical results for SGD applied to nonconvex objective functions are far from mature. For example, existing results require to impose a nontrivial assumption on the uniform boundedness of gradients for all iterates encountered in the learning process, which is hard to verify in practical implementations. In this paper, we establish a rigorous theoretical foundation for SGD in nonconvex learning by showing that this boundedness assumption can be removed without affecting convergence rates. In particular, we establish sufficient conditions for almost sure convergence as well as optimal convergence rates for SGD applied to both general nonconvex objective functions and gradient-dominated objective functions. A linear convergence is further derived in the case with zero variances.

연구 동기 및 목표

• 비볼록 학습에서 SGD의 실용적 성공과 이론적 이해 사이의 격차를 메우기 위해.
• 실제 적용에서 검증하기 어려운 비트레비얼 기울기 유한성 조건을 제거하기 위해.
• 기울기 유한성 조건 없이도 비볼록 환경에서 SGD의 거의 확실 수렴과 최적 수렴 속도를 확립하기 위해.
• 폴리악-로자예프스키(PL) 조건을 만족하는 기울기 지배 함수로 수렴 분석을 확장하기 위해.
• 기울기 분산이 0인 조건 하에서 선형 수렴을 확립하여 기존 결과를 향상시키기 위해.

제안 방법

• 표준 리프시츠 연속성 대신 더 약한 조건인 기울기의 허더링 연속성으로 평활성 조건을 완화한다.
• 폴리악-로자예프스키(PL) 조건을 활용하여 기울기 유한성 조건 없이도 $O(1/t)$ 수렴 속도를 확립한다.
• 기대 목적치 감소를 제어하기 위해 드리프트와 마르팅게일 유형의 추론 기반의 새로운 분석 프레임워크를 적용한다.
• 함수값과 기울기 노름의 거의 확실 수렴을 보장하기 위한 스텝 사이즈에 대한 충분조건을 유도한다.
• 기울기 분산이 0인 조건 하에서 SGD의 선형 수렴을 증명하기 위해 새로운 0 분산 조건을 도입한다.
• 합계 가능성이 있는 $t^{-\alpha}$ 항을 활용하여 기대 오차를 유 bounds하기 위한 재귀 부등식 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 기울기가 균일하게 유한한 조건을 가정하지 않고도 SGD가 비볼록 최적화에서 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 기울기 평활성 조건을 완화한 상황에서도 폴리악-로자예프스키(PL) 조건이 여전히 $O(1/t)$ 수렴 속도를 보장하는가?
• RQ3 기울기 분산이 0인 조건 하에서 비볼록 환경에서 SGD의 선형 수렴을 확립할 수 있는가?
• RQ4 기울기 유한성 조건 없이도 비볼록 학습에서 SGD의 거의 확실 수렴을 보장하기 위한 스텝 사이즈 조건은 무엇인가?
• RQ5 기울기의 허더링 연속성이 비볼록 문제에서 SGD의 수렴 행동에 어떤 영향을 미치는가?

주요 결과

• 기울기 유한성 조건을 제거해도 수렴 속도에 영향을 주지 않으며, 이는 비볼록 학습에서 SGD의 더 견고한 이론적 기반을 마련한다.
• 허더링 연속 기울기를 가진 일반적인 비볼록 목적함수에 대해, 함수값과 기울기 노름이 모두 0으로 거의 확실하게 수렴함을 증명한다.
• PL 조건 하에서 기울기 유한성 조건 없이도 SGD의 $O(1/t)$ 수렴 속도를 확립하며, 더 강한 가정 하에서 알려진 최고의 수렴 속도와 일치한다.
• 기울기 분산이 0인 조건 하에서는 SGD의 선형 수렴을 증명하며, 일반적인 비볼록 환경에서의 하향 수렴 속도에 비해 중대한 향상이다.
• 함수값의 거의 확실 수렴을 보장하기 위한 스텝 사이즈에 대한 충분조건을 도출하였으며, $t^{-\alpha}$ 기반의 수렴 속도에 대한 명시적 상한을 제시한다.
• 분석 결과, $\mathbb{E}[\mathcal{E}(\mathbf{w}_t) - \mathcal{E}(\mathbf{w}^*)] \to 0$ 거의 확실하게 수렴하며, $t \to \infty$일 때 $\|\nabla\mathcal{E}(\mathbf{w}_t)\|_2 \to 0$ 거의 확실하게 수렴한다.