[논문 리뷰] Stochastic Gradient Descent on Nonconvex Functions with General Noise Models

Vivak Patel, Shushu Zhang|arXiv (Cornell University)|2021. 04. 01.

Stochastic Gradient Optimization Techniques참고 문헌 6인용 수 5

한 줄 요약

이 논문은 일반적인 노이즈 모델을 가진 광범위한 비볼록 함수에 대해 확률적 경사하강법(SGD)이 거의 확실하게 정적점으로 수렴함을 확립한다. 이는 SGD가 무한대 방향으로 발산하거나 거의 확실하게 정적점으로 수렴하며, 반복값이 유계일 경우 기울기 노름이 확률적으로 및 기대값에서 0으로 수렴함을 증명한다. 이는 약한 허더링 연속성과 노이즈 제어 조건 하에 성립한다.

ABSTRACT

Stochastic Gradient Descent (SGD) is a widely deployed optimization procedure throughout data-driven and simulation-driven disciplines, which has drawn a substantial interest in understanding its global behavior across a broad class of nonconvex problems and noise models. Recent analyses of SGD have made noteworthy progress in this direction, and these analyses have innovated important and insightful new strategies for understanding SGD. However, these analyses often have imposed certain restrictions (e.g., convexity, global Lipschitz continuity, uniform Holder continuity, expected smoothness, etc.) that leave room for innovation. In this work, we address this gap by proving that, for a rather general class of nonconvex functions and noise models, SGD's iterates either diverge to infinity or converge to a stationary point with probability one. By further restricting to globally Holder continuous functions and the expected smoothness noise model, we prove that -- regardless of whether the iterates diverge or remain finite -- the norm of the gradient function evaluated at SGD's iterates converges to zero with probability one and in expectation. As a result of our work, we broaden the scope of nonconvex problems and noise models to which SGD can be applied with rigorous guarantees of its global behavior.

연구 동기 및 목표

• 비볼록 함수에 대해 전역 리프시츠 연속성 또는 균일한 허더링 연속성 조건을 제거하고, 일반적인 노이즈 모델을 가진 비볼록 함수에 대해 SGD의 수렴 보장을 확장한다.
• 기존 연구에서 요구하던 전역 리프시츠 연속성 또는 균일한 허더링 연속성 조건을 완화한다.
• 노이즈 분산이 기울기 노름 또는 함수 값에 따라 증가할 수 있도록 허용하는 최소한의 노이즈 모델 제약 조건 하에서 SGD를 분석한다.
• 반복값이 유계일 경우, 기울기 노름이 거의 확실하게 0으로 수렴함을 확립한다. 이는 약한 정규성 조건 하에서도 성립한다.
• Lei 등(2019)과 Patel(2020)의 이전 결과들을 단일 이론적 프레임워크로 통합하고 최소한의 가정 하에 일반화한다.

제안 방법

• 진정한 기울기 ∇F(θ)의 국소 α-허더링 연속성을 활용하여 비볼록 목표 함수에 대한 SGD 분석을 위한 일반적 프레임워크를 제안한다.
• E[∥∇f(θ,X)∥²]가 θ의 임의의 음이 아닌 상측 연속 함수로 유계임을 가정하는 노이즈 모델을 도입한다.
• 마팅게일 차분 수열과 수퍼마팅게일 추론을 활용하여 목적 함수와 기울기 노름의 진동을 분석한다.
• 보렐-칸텔리 보조정리와 거의 확실한 수렴 기법을 적용하여 기울기 노름이 최종적으로 임의의 δ > 0 이하로 머무르게 됨을 보인다.
• 허더링 부등식과 목적 함수의 하한 유계성에서 유도된 모멘트 유계를 통해 기울기 노름 수열의 균일 적분 가능성을 확립한다.
• L²에서의 유계성과 거의 확실한 기울기 노름 수렴을 조합하여 L¹ 수렴을 도출한다.

실험 결과

연구 질문

• RQ1 어떤 일반적 조건 하에서 비볼록 목표 함수에 대해 임의의 노이즈 모델을 가진 SGD가 거의 확실하게 정적점으로 수렴하는가?
• RQ2 진정한 기울기의 전역 리프시츠 연속성 조건을 가정하지 않고도 기울기 노름이 0으로 수렴함을 보장할 수 있는가?
• RQ3 노이즈 분산이 기울기 노름 또는 함수 값에 따라 증가할 경우 SGD의 수렴 행동은 어떻게 변화하는가?
• RQ4 학습률이 행렬 형식일 경우에도 수렴 보장을 유지할 수 있는가?
• RQ5 반복값이 유계일 경우 기대 기울기 노름이 0으로 수렴하는 데 필요한 조건은 무엇인가?

주요 결과

• 하한 유계이며 비볼록인 목표 함수에서 진정한 기울기 ∇F(θ)가 국소 α-허더링 연속성을 만족할 경우, SGD는 거의 확실하게 무한대로 발산하거나 정적점으로 수렴한다.
• 반복값이 유계일 경우, 진정한 기울기 ∥∇F(θₖ)∥₂의 노름이 거의 확실하게 0으로 수렴한다.
• 동일한 조건 하에서 기울기 노름 ∥∇F(θₖ)∥₂의 기대값도 기대값에서 0으로 수렴한다.
• E[∥∇f(θ,X)∥²]가 임의의 상측 연속 함수로 제어되는 일반적인 노이즈 모델 하에서도 수렴 결과가 성립한다.
• 이전 연구에서 사용된 전역 리프시츠 연속성 및 균일한 허더링 연속성 조건을 완화한 분석을 수행하였다.
• 증명 과정에서 기울기 노름 수열의 균일 적분 가능성을 확립하여, 거의 확실한 수렴에서 L¹ 수렴을 도출할 수 있었다.