[논문 리뷰] The Role of Memory in Stochastic Optimization

Antonio Orvieto, Jonas Köhler외 1명|arXiv (Cornell University)|2019. 07. 02.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 6

한 줄 요약

이 논문은 가속도 방법인 Heavy Ball 및 Nesterov 방법을 변수 기억 감쇠율을 통해 일반화함으로써, 기억을 모델링하기 위해 연속시간 스토케스틱 미분방정식(SDE) 프레임워크를 제안한다. 기억 유형이 수렴성과 안정성에 결정적인 영향을 미친다는 것을 입증하며, 반복 평균화가 필요 없이도 스토케스틱 환경에서 장기 기억이 성능 향상에 기여함을 보이며, Nesterov의 가속도를 안정적인 기울기 증폭으로 새롭게 해석한다.

ABSTRACT

The choice of how to retain information about past gradients dramatically affects the convergence properties of state-of-the-art stochastic optimization methods, such as Heavy-ball, Nesterov's momentum, RMSprop and Adam. Building on this observation, we use stochastic differential equations (SDEs) to explicitly study the role of memory in gradient-based algorithms. We first derive a general continuous-time model that can incorporate arbitrary types of memory, for both deterministic and stochastic settings. We provide convergence guarantees for this SDE for weakly-quasi-convex and quadratically growing functions. We then demonstrate how to discretize this SDE to get a flexible discrete-time algorithm that can implement a board spectrum of memories ranging from short- to long-term. Not only does this algorithm increase the degrees of freedom in algorithmic choice for practitioners but it also comes with better stability properties than classical momentum in the convex stochastic setting. In particular, no iterate averaging is needed for convergence. Interestingly, our analysis also provides a novel interpretation of Nesterov's momentum as stable gradient amplification and highlights a possible reason for its unstable behavior in the (convex) stochastic setting. Furthermore, we discuss the use of long term memory for second-moment estimation in adaptive methods, such as Adam and RMSprop. Finally, we provide an extensive experimental study of the effect of different types of memory in both convex and nonconvex settings.

연구 동기 및 목표

• Adam, RMSprop, Nesterov의 가속도와 같은 스토케스틱 최적화 방법에서 기억의 역할을 이해하기 위해.
• 가속도 방법이 결정론적 환경에서는 성공함에도 불구하고 스토케스틱 환경에서는 실패하는 이유에 대한 이론적 이해 부족을 해결하기 위해.
• 사용자 정의 가능한 기억 감쇠 역학을 통해 기존 가속도 방법을 일반화하는 통합된 연속시간 모델을 개발하기 위해.
• 약한 준볼록 함수 및 이차적으로 증가하는 함수에 대해 제안된 SDE의 수렴 보장을 제공하기 위해.
• 다양한 볼록 및 비볼록 문제에서 다양한 기억 유형이 최적화 성능에 미치는 영향을 경험적으로 검증하기 위해.

제안 방법

• 과거 기울기의 가중 평균을 통해 임의의 기억 감쇠 메커니즘을 포함하는 일반적인 연속시간 SDE 모델을 유도한다.
• 결정론적 Heavy Ball 방법을 연속시간 ODE로 확장하고, SDE를 사용하여 이를 스토케스틱 환경으로 일반화한다.
• 선형(p=2), 세차(p=4), 다항식(p=100), 지수함수(p=e), 즉각적(p=∞)을 포함한 p로 매개변수화된 기억 감쇠 함수의 가족을 도입한다.
• SDE를 다양한 기억 유형을 지원하는 민첩한 이산시간 알고리즘인 MemSGD로 이산화한다.
• 기울기 증폭과의 관련성을 통해 가속도 방법의 안정성을 분석하며, Nesterov의 가속도를 새로운 해석인 안정적인 기울기 증폭으로 제시한다.
• 장기 기억을 사용한 두 번째 모멘트 추정을 통해 Adam 및 RMSprop와 같은 적응형 방법을 향상시킨다.

실험 결과

연구 질문

• RQ1 기억 메커니즘, 특히 감쇠율의 선택이 스토케스틱 최적화에서 수렴성과 안정성에 미치는 영향은 무엇인가?
• RQ2 왜 Nesterov의 기울기 하강법과 같은 가속도 방법은 결정론적 환경에서는 성공함에도 불구하고 스토케스틱 환경에서는 실패하는가?
• RQ3 짧은 기억에서 긴 기억에 이르기까지 다양한 기억 유형을 모델링할 수 있는 통합된 연속시간 프레임워크가 가능한가?
• RQ4 반복 평균화가 필요 없이도 스토케스틱 환경에서 장기 기억이 수렴성과 안정성을 향상시키는가?
• RQ5 기억은 Adam 및 RMSprop와 같은 적응형 방법의 두 번째 모멘트 추정에 어떻게 영향을 미치는가?

주요 결과

• 제안된 SDE 프레임워크는 적절한 기억 역학 하에서 약한 준볼록 함수 및 이차적으로 증가하는 함수에 대해 수렴 보장을 제공한다.
• 장기 기억을 가진 이산형 MemSGD 알고리즘은 반복 평균화가 필요 없이도 고전적 Heavy Ball보다 볼록 스토케스틱 설정에서 더 높은 안정성을 달성한다.
• Nesterov의 가속도는 안정적인 기울기 증폭으로 해석되며, 노이즈가 많은 기울기를 과도하게 증폭시켜 스토케스틱 환경에서의 불안정성을 설명한다.
• MNIST, Fashion-MNIST, CIFAR-10 및 covtype에서의 실험 결과, 다항식 감쇠(p=4)와 지수 감쇠(p=e)가 미니배치 및 전체배치 설정에서 SGD 및 HB보다 뛰어난 성능을 보였다.
• p=4(세차 감쇠)를 사용한 방법은 Fashion-MNIST 및 CIFAR-10에서 최고의 테스트 정확도를 달성하였으며, 기준 방법보다 학습 손실 감소 속도가 더 빠르게 나타났다.
• 오토에코더를 통해 복원된 MNIST 숫자 이미지 분석 결과, p=4 및 p=e를 사용한 MemSGD는 SGD 또는 HB보다 더 선명하고 정확한 복원을 제공함으로써 최적화 품질 향상을 확인하였다.