[논문 리뷰] Convergence of a Stochastic Gradient Method with Momentum for Nonsmooth Nonconvex Optimization

V. Vien, Mikael Johansson|arXiv (Cornell University)|2020. 02. 13.

Stochastic Gradient Optimization Techniques참고 문헌 51인용 수 7

한 줄 요약

이 논문은 비연속, 비볼록, 제약 조건이 있는 최적화 문제에 대해 스토하스틱 서브그래디언트 방법과 폴리악 모멘타임을 결합한 경우의 수렴 속도를 확립한다. 새로운 리아푸노프 함수를 도입함으로써 모멘타임 파rameter를 튜닝할 필요 없이 수렴 복잡도를 달성하며, 제약 조건이 있는 경우와 더 약한 스무쓰함 조건 하에서도 기존의 복잡도 한계를 확장한다.

ABSTRACT

Stochastic gradient methods with momentum are widely used in applications and at the core of optimization subroutines in many popular machine learning libraries. However, their sample complexities have not been obtained for problems beyond those that are convex or smooth. This paper establishes the convergence rate of a stochastic subgradient method with a momentum term of Polyak type for a broad class of non-smooth, non-convex, and constrained optimization problems. Our key innovation is the construction of a special Lyapunov function for which the proven complexity can be achieved without any tuning of the momentum parameter. For smooth problems, we extend the known complexity bound to the constrained case and demonstrate how the unconstrained case can be analyzed under weaker assumptions than the state-of-the-art. Numerical results confirm our theoretical developments.

연구 동기 및 목표

• 비연속, 비볼록, 제약 조건이 있는 문제에서 모멘타임을 갖춘 스토하스틱 그래디언트 방법의 샘플 복잡도 분석 부족 문제를 해결하기 위해.
• 모멘타임 파rameter를 튜닝할 필요가 없는 수렴 분석 프레임워크를 개발하기 위해.
• 부드러운 문제에 대한 기존의 복잡도 한계를 제약 조건이 있는 경우로 확장하기 위해.
• 최근 연구의 최고 수준보다 더 약한 가정 하에 비제약 조건이 있는 경우를 분석할 수 있도록 하기 위해.

제안 방법

• 저자는 폴리악 모멘타임을 갖춘 스토하스틱 서브그래디언트 방법의 동역학에 맞게 특화된 리아푸노프 함수를 도입한다.
• 리아푸노프 함수는 비연속성과 비볼록성에도 불구하고 반복값의 감소 행동을 포착하도록 구성된다.
• 분석은 모멘타임 항의 구조를 활용하여 진동을 제어하고 수렴을 보장한다.
• 반복 과정에서 리아푸노프 함수가 감소함을 증명함으로써 수렴이 확립되며, 이는 복잡도 한계를 이끌어낸다.
• 이 방법은 광범위한 제약 조건이 있는 비연속 및 비볼록 최적화 문제에 적용 가능하다.
• 설계상으로 모멘타임 파arameter의 튜닝에 의존하지 않음으로써 다양한 문제 유형에 대해 강건함을 확보한다.

실험 결과

연구 질문

• RQ1 비연속, 비볼록, 제약 조건이 있는 문제에 대해 스토하스틱 서브그래디언트 방법과 폴리악 모멘타임을 사용할 경우의 수렴 속도는 무엇인가?
• RQ2 모멘타임 기반 방법이 모멘타임 파arameter를 튜닝할 필요 없이 수렴 복잡도를 달성할 수 있는가?
• RQ3 제안된 방법은 부드러운 문제에 대한 기존의 복잡도 한계를 제약 조건이 있는 경우로 어떻게 확장하는가?
• RQ4 비제약 조건이 있는 경우는 어떤 더 약한 가정 하에서 분석 가능하며, 그로 인해 더 넓은 일반성을 확보할 수 있는가?

주요 결과

• 제안된 방법은 모멘타임 파arameter를 튜닝할 필요 없이 비연속, 비볼록, 제약 조건이 있는 문제에 대해 수렴 복잡도를 달성한다.
• 비연속성과 비볼록 조건 하에서 감소 행동을 포착하는 새로운 리아푸노프 함수를 통해 수렴 속도가 확립된다.
• 부드러운 문제의 경우, 분석을 제약 조건이 있는 설정으로 확장한다.
• 최근 연구의 최고 수준보다 더 약한 가정 하에 비제약 조건이 있는 경우가 분석된다.
• 수치 결과는 이론적 결과를 확인하며, 방법의 강건성과 효과성을 입증한다.
• 이 방법은 부드러운 문제와 비연속 문제를 하나의 수렴 분석 틀 안에서 통합적으로 다룰 수 있는 유일한 프레임워크를 제공한다.