[논문 리뷰] Global Convergence of Stochastic Gradient Hamiltonian Monte Carlo for Non-Convex Stochastic Optimization: Non-Asymptotic Performance Bounds and Momentum-Based Acceleration

Xuefeng Gao, Mert Gürbüzbalaban외 1명|arXiv (Cornell University)|2018. 09. 12.

Markov Chains and Monte Carlo Methods참고 문헌 93인용 수 31

한 줄 요약

이 논문은 비볼록 스트로스틱 최적화에서 두 가지 변형된 Stochastic Gradient Hamiltonian Monte Carlo(SGHMC)에 대한 비점근적 전역 수렴 경계를 수립한다. 운동량 기반 가속과 명시적인 유한 시간 성능 보장 및 명시적인 상수를 활용하여, SGLD보다 더 날카운 복잡도 경계를 입증한다.

ABSTRACT

Stochastic gradient Hamiltonian Monte Carlo (SGHMC) is a variant of stochastic gradient with momentum where a controlled and properly scaled Gaussian noise is added to the stochastic gradients to steer the iterates towards a global minimum. Many works reported its empirical success in practice for solving stochastic non-convex optimization problems, in particular it has been observed to outperform overdamped Langevin Monte Carlo-based methods such as stochastic gradient Langevin dynamics (SGLD) in many applications. Although asymptotic global convergence properties of SGHMC are well known, its finite-time performance is not well-understood. In this work, we study two variants of SGHMC based on two alternative discretizations of the underdamped Langevin diffusion. We provide finite-time performance bounds for the global convergence of both SGHMC variants for solving stochastic non-convex optimization problems with explicit constants. Our results lead to non-asymptotic guarantees for both population and empirical risk minimization problems. For a fixed target accuracy level, on a class of non-convex problems, we obtain complexity bounds for SGHMC that can be tighter than those for SGLD. These results show that acceleration with momentum is possible in the context of global non-convex optimization.

연구 동기 및 목표

• SGHMC의 유한 시간 성능에 대한 이해 격차를 메우기 위해, 실증적으로 성공적이지만 비점근적 이론적 보장이 부족한 문제를 해결한다.
• 다른 이산화 방법에 기반한 Underdamped Langevin SDE의 두 가지 SGHMC 변형에 대해 명시적, 비점근적 수렴 경계를 제공한다.
• 기존 SGLD의 경계보다 더 날카운 복잡도 경계를 확보하기 위해, 인구 및 경험 리스크 최소화에 대한 복잡도 경계를 수립한다.
• 운동량과 노이즈 스케일링이 비볼록 스트로스틱 최적화 환경에서 수렴에 미치는 영향을 분석한다.
• 로지스틱 회귀와 ReLU 네트워크와 같은 일반적인 비볼록 문제에서 가정을 검증함으로써 이론적 주장의 타당성을 검증한다.

제안 방법

• 운동량과 노이즈 통합 방식의 차이에 따라 다른 이산화 방법에 기반한 두 가지 SGHMC 변형을 제안한다.
• 리아푸노프 함수 분석과 농도 불등식을 사용하여 기대 최적성 갭에 대한 비점근적 성능 경계를 유도한다.
• 약한 미분 가능성과 유계 조건 하에서의 기울기 및 헤시안 성장 조건을 분석함으로써 수렴 경계에 명시적인 상수를 도입한다.
• 편차를 제어하기 위해 미니배치 샘플링을 사용하는 스트로스틱 기울기 추정기를 도입하여 기울기 노이즈의 유계 두 번째 모멘트를 확보한다.
• 표준 SGLD보다 수렴 속도를 향상시키기 위해 무거운 공 역학과 유사한 운동량 기반 가속 메커니즘을 적용한다.
• 로지스틱 회귀와 유계 활성화 함수를 갖는 ReLU 기반 모델을 포함한 특정 비볼록 문제에서 요구 조건을 검증함으로써 이론적 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 비볼록 스트로스틱 최적화에서 명시적인 상수를 갖는 SGHMC에 대해 비점근적 전역 수렴 보장을 수립할 수 있는가?
• RQ2 SGHMC에서 운동량 기반 가속은 SGLD에 비해 유한 시간 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 비볼록 문제에서 주어진 목표 정확도를 달성하기 위해 필요한 반복 횟수 기반의 SGHMC 복잡도 경계는 무엇인가?
• RQ4 제안된 SGHMC 변형이 복잡도 측면에서 SGLD를 초월할 수 있는 조건은 무엇인가?
• RQ5 딥러닝과 유계 활성화를 갖는 로지스틱 회귀와 같은 실용적 비볼록 문제에서 이론적 경계가 유지되는가?

주요 결과

• 논문은 명시적인 상수를 갖는 두 가지 SGHMC 변형에 대해 비점근적 전역 수렴 경계를 수립하여, 전역 최소값 주변으로의 유한 시간 수렴을 입증한다.
• 고정된 목표 정확도에서, 특히 운동량이 적절히 조정된 경우, 특정 비볼록 문제에서 SGHMC의 복잡도 경계는 SGLD보다 더 날카롭다.
• 수렴 속도는 역온도, 스텝 사이즈, 노이즈 스케일링에 의존하며, 기울기 및 헤시안 유계와 같은 문제 파라미터에 명시적인 의존성을 갖는다.
• 이론적 프레임워크는 로지스틱 회귀와 ReLU 네트워크에서 검증되었으며, 여기서 요구 조건(유계 기울기, 헤시안, 노이즈)이 명시적인 상수로 충족된다.
• 분석 결과, SGHMC의 운동량은 효과적 편차를 감소시키고 수렴을 가속화하여 SGLD보다 향상된 반복 복잡도를 이끈다.
• 경계는 인구 및 경험 리스크 최소화 모두에 대해 유도되었으며, 미니배치 크기와 문제 차원에 명시적인 의존성을 갖추어 실용적 관련성을 확보한다.