[논문 리뷰] Shuffling Gradient-Based Methods with Momentum.

Trang H. Tran, Lam M. Nguyen외 1명|arXiv (Cornell University)|2020. 11. 24.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 4

한 줄 요약

이 논문은 비볼록 유한합 최적화를 위한 새로운 믹싱 기반 그래디언트 방법을 제안하며, 무작위 재배열과 모멘타임을 조합하여 L-스무쓰니스와 유한 분산 조건 하에서 최신의 수렴 속도를 달성한다. 이 방법은 기존의 접근 방식보다 뛰어나며, 특히 무작위 재배열 전략을 사용할 경우 데이터 크기의 일부 분율만큼 수렴 속도가 향상된다.

ABSTRACT

We combine two advanced ideas widely used in optimization for machine learning: shuffling strategy and momentum technique to develop a novel shuffling gradient-based method with momentum to approximate a stationary point of non-convex finite-sum minimization problems. While our method is inspired by momentum techniques, its update is fundamentally different from existing momentum-based methods. We establish that our algorithm achieves a state-of-the-art convergence rate for both constant and diminishing learning rates for any shuffling strategy under standard assumptions (i.e., L-smoothness and bounded variance). In particular, if a randomized reshuffling strategy is used, we can further improve our convergence rate by a fraction of the data size. When the shuffling strategy is fixed, we develop another new algorithm that is similar to existing momentum methods. This algorithm covers the single-shuffling and incremental gradient schemes as special cases. We prove the same convergence rate of this algorithm under the L-smoothness and bounded gradient assumptions. We demonstrate our algorithms via numerical simulations on standard datasets and compare them with existing shuffling methods. Our tests have shown encouraging performance of the new algorithms.

연구 동기 및 목표

• 고도화된 최적화 기법을 사용하여 비볼록 유한합 최소화 문제에서 수렴 속도를 가속화하는 데 도전하는 것.
• 기존에 별개로 다뤄져 온 믹싱 전략과 모멘타임 기반 방법 간 격차를 메우는 것.
• 기존 방법들인 단일 믹싱 및 인크리멘탈 그래디언트 기반 방법들을 일반화하는 통합 프레임워크를 개발하는 것.
• 표준 가정 조건, 즉 L-스무쓰니스와 유한 분산 또는 그래디언트 분산 조건 하에서 이론적 수렴 보장을 수립하는 것.

제안 방법

• 이 방법은 믹싱 전략과 모멘타임 기반 업데이트 규칙을 통합하여, 기존의 모멘타임 방법과 근본적으로 다름.
• 각 반복에서 데이터 샘플을 재배열하는 데 무작위 재배열 전략을 사용하여 수렴 속도를 향상시킴.
• 고정 믹싱의 경우, 표준 모멘타임 방법과 유사한 업데이트 메커니즘을 사용하지만, 단일 믹싱 및 인크리멘탈 그래디언트 기반 방법을 포함하도록 일반화함.
• 업데이트 규칙은 L-스무쓰니스와 유한 분산 조건 하에서도 수렴을 유지하도록 설계되어, 다양한 데이터 믹싱 패턴에 대해 강건함을 확보함.
• 이론적 분석은 표준 가정에 기반한다: 목적 함수의 L-스무쓰니스와 그래디언트의 유한 분산.
• 성능 검증을 위해 표준 머신러닝 데이터셋에서 수치 시뮬레이션을 수행하여 기존의 믹싱 기반 최적화 방법과의 비교를 수행함.

실험 결과

연구 질문

• RQ1 믹싱 전략과 모멘타임을 조합함으로써 비볼록 유한합 최적화에서 수렴 속도를 향상시킬 수 있는가?
• RQ2 믹싱 전략의 선택—무작위 대비 고정—이 모멘타임 기반 방법의 수렴 행동에 어떤 영향을 미치는가?
• RQ3 L-스무쓰니스와 유한 분산 등의 표준 가정 하에서 제안된 방법의 이론적 수렴 속도는 무엇인가?
• RQ4 제안된 방법은 단일 믹싱 및 인크리멘탈 그래디언트 기반 방법들을 통합된 프레임워크 내에서 일반화할 수 있는가?

주요 결과

• 표준 가정 하에서 일정 학습률과 감소 학습률 모두에 대해 최신의 수렴 속도를 달성함.
• 무작위 재배열 전략을 사용할 경우, 기존 방법 대비 데이터 크기의 일부 분율만큼 수렴 속도가 향상됨.
• 고정 믹싱의 경우, L-스무쓰니스와 유한 그래디언트 가정 하에서 동일한 수렴 속도를 유지함.
• 표준 데이터셋에서의 수치 시뮬레이션을 통해 제안된 알고리즘이 실제 적용에서 기존의 믹싱 기반 방법보다 뛰어난 성능을 보임.
• 이 방법은 단일 믹싱 및 인크리멘탈 그래디언트 기반 방법을 특수 케이스로 일반화하여 더 넓은 적용 가능성을 입증함.
• 이론적 분석을 통해 비볼록 유한합 문제에서 정류점으로의 수렴이 확인되어 실용적 유용성이 검증됨.