[논문 리뷰] Convergence of a Stochastic Gradient Method with Momentum for Non-Smooth Non-Convex Optimization

Vien V. Mai, Mikael Johansson|arXiv (Cornell University)|2020. 02. 13.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 비연속, 비볼록 및 제약 조건이 있는 최적화 문제에 대해 스위치 서브그래디언트 방법과 폴리악 모멘타를 결합한 최초의 수렴 속도를 확립한다. 새로운 리아푸노프 함수를 구축함으로써, 모멘타 매개수를 튜닝하지 않더라도 정류점으로의 O(1/√K) 수렴 속도를 달성하며, 이는 기존의 복잡도 한계를 제약 조건이 있는 비연속 경우로 확장한다.

ABSTRACT

Stochastic gradient methods with momentum are widely used in applications and at the core of optimization subroutines in many popular machine learning libraries. However, their sample complexities have not been obtained for problems beyond those that are convex or smooth. This paper establishes the convergence rate of a stochastic subgradient method with a momentum term of Polyak type for a broad class of non-smooth, non-convex, and constrained optimization problems. Our key innovation is the construction of a special Lyapunov function for which the proven complexity can be achieved without any tuning of the momentum parameter. For smooth problems, we extend the known complexity bound to the constrained case and demonstrate how the unconstrained case can be analyzed under weaker assumptions than the state-of-the-art. Numerical results confirm our theoretical developments.

연구 동기 및 목표

• 비연속, 비볼록 문제에 대한 스위치 모멘타 방법의 이론적 이해 격차를 메우기 위해.
• 볼록성 또는 미분 가능성 조건 없이 스위치 서브그래디언트 방법과 폴리악 모멘타를 위한 샘플 복잡도 한계를 설정하기 위해.
• 모멘타 매개수 튜닝이 필요 없는 수렴 분석 프레임워크를 개발하기 위해.
• 기존의 복잡도 결과를 제약 조건이 있는, 비연속적이고 비볼록 최적화 문제로 확장하기 위해.

제안 방법

• 방법은 반복값과 모멘타 벡터의 재귀적 갱신을 통해 정의된 스위치 서브그래디언트와 폴리악 유형의 모멘타를 사용한다.
• 수렴 분석을 위해 목적 함수와 모멘타 관련 항을 조합한 특수한 리아푸노프 함수를 구축한다.
• 비연속성을 다루기 위해 f(x) + ρ‖x‖²이 볼록인 ρ-약한 볼록 함수 개념을 활용한다.
• 정규화된 목적 함수 Fλ(x) = f(x) + λ⁻¹‖x‖²의 볼록성 성질과 노름 전개를 이용해 핵심 부등식을 유도한다.
• 수렴 속도는 반복 과정 동안 부등식을 합산하고 Fλ의 기대값에서 그래디언트 노름을 유계화함으로써 도출된다.
• 균일한 랜덤 색인 k*를 사용하여 기대 그래디언트 노름을 분석함으로써 고확률 수렴 한계를 도출한다.

실험 결과

연구 질문

• RQ1 스위치 그래디언트 방법에 모멘타를 적용할 경우 비연속, 비볼록 문제에서 수렴 속도를 달성할 수 있는가?
• RQ2 연속성 또는 볼록성 조건 없이 모멘타 기반 방법에 대한 샘플 복잡도 한계를 설정할 수 있는가?
• RQ3 모멘타 매개수 튜닝 없이도 수렴을 보장할 수 있는 리아푸노프 함수를 구성할 수 있는가?
• RQ4 제약 조건이 있는 비연속 비볼록 설정에서 모멘타 방법은 제약 조건이 없는 경우와 비교해 어떻게 성능을 발휘하는가?
• RQ5 정규화된 목적 함수를 사용해 약한 볼록 함수에 대해 분석을 확장할 수 있는가?

주요 결과

• 방법은 정규화된 목적 함수 Fλ의 기대 제곱 노름 그래디언트로 측정된 정류점으로의 O(1/√K) 수렴 속도를 달성한다.
• 수렴 한계는 모멘타 매개수 튜닝 없이도 유지되며, 구축된 리아푸노프 함수에 의존한다.
• 부드러운 문제의 경우, 이전 연구보다 더 약한 가정 하에 제약 조건이 있는 경우에도 알려진 복잡도 한계가 확장된다.
• 이 결과는 수렴 속도가 부드럽고 볼록 문제에 대해 알려진 결과와 일치하므로 타당성이 높다고 볼 수 있다.
• 수치적 결과는 이론적 수렴 행동을 확인하고 비연속 비볼록 설정에서 모멘타 방법의 효과성을 검증한다.