[논문 리뷰] Gradient Descent, Stochastic Optimization, and Other Tales

Jun Lü|arXiv (Cornell University)|2022. 05. 02.

Stochastic Gradient Optimization Techniques인용 수 10

한 줄 요약

이 논문은 경사 하강법과 확률적 최적화 방법에 대한 철저하고 자율적인 소개를 제공하며, 그 수학적 기초를 처음부터 유도한다. 알고리즘의 메커니즘, 수렴 성질, 실용적인 개선 기법(예: 모멘타, 적응형 학습률, 이차 방법 포함)을 설명하여 이러한 알고리즘이 어떻게 작동하며 언제 사용해야 하는지에 대한 깊이 있는 이론적 통찰을 제공한다.

ABSTRACT

The goal of this paper is to debunk and dispel the magic behind black-box optimizers and stochastic optimizers. It aims to build a solid foundation on how and why the techniques work. This manuscript crystallizes this knowledge by deriving from simple intuitions, the mathematics behind the strategies. This tutorial doesn't shy away from addressing both the formal and informal aspects of gradient descent and stochastic optimization methods. By doing so, it hopes to provide readers with a deeper understanding of these techniques as well as the when, the how and the why of applying these algorithms. Gradient descent is one of the most popular algorithms to perform optimization and by far the most common way to optimize machine learning tasks. Its stochastic version receives attention in recent years, and this is particularly true for optimizing deep neural networks. In deep neural networks, the gradient followed by a single sample or a batch of samples is employed to save computational resources and escape from saddle points. In 1951, Robbins and Monro published extit{A stochastic approximation method}, one of the first modern treatments on stochastic optimization that estimates local gradients with a new batch of samples. And now, stochastic optimization has become a core technology in machine learning, largely due to the development of the back propagation algorithm in fitting a neural network. The sole aim of this article is to give a self-contained introduction to concepts and mathematical tools in gradient descent and stochastic optimization.

연구 동기 및 목표

• 경사 하강법과 확률적 최적화의 이론적 기초를 투명하게 밝혀, 블랙박스 사용을 넘어서는 데 목적이 있다.
• 최적화 알고리즘의 행동, 수렴성, 한계를 이해하기 위한 견고한 수학적 기초를 마련하는 데 목적이 있다.
• 모멘타, 적응형 학습률, 선형 탐색 전략과 같은 핵심 개선 기법의 역할과 설계 이론을 명확히 하는 데 목적이 있다.
• 특히 이차형식과 대칭 행렬에 대해 기하적 직관을 형식적 수학 유도와 연결하는 데 목적이 있다.
• 기계 학습 맥락에서 일阶 및 이阶 최적화 방법을 분석하기 위한 통합된 프레임워크를 제공하는 데 목적이 있다.

제안 방법

• 미적분과 탐욕적 탐색을 이용해 경사 하강법을 유도하며, 손실을 최소화하는 데서 음의 경사의 역할을 강조한다.
• 손실의 충분한 감소를 보장하기 위해 선형 탐색 기법(이분법, 황금분할, Armijo 규칙)을 적용한다.
• 수렴성과 일반화 성능 향상을 위해 냉각, 웜업, 사이클릭 정책을 통한 학습률 스케줄링을 도입한다.
• SGD에 모멘타, Nesterov, AdaGrad, RMSProp, Adam, AdaMax와 같은 확률적 최적화 방법을 분석하며, 그 적응 메커니즘을 부각한다.
• 특이값 분해와 고유값 분해를 사용해 수렴 속도를 분석하며, 특히 이차형식과 대칭 행렬에 초점을 맞춘다.
• 뉴턴 방법, 감쇠 뉴턴, 레벤버그-마르카르트 방법과 같은 이차 방법을 적용하여 곡률 정보를 활용해 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 경사 하강법과 그 변종은 수학적으로 어떻게 수렴하며, 그 수렴 속도는 무엇에 의해 결정되는가?
• RQ2 Armijo 규칙과 황금분할 탐색과 같은 선형 탐색 전략의 기하학적 및 대수적 기초는 무엇인가?
• RQ3 실제로 표준 SGD보다 Adam과 RMSProp과 같은 적응형 학습률 방법이 더 우수한 이유는 무엇이며, 이들의 이론적 한계는 무엇인가?
• RQ4 대칭 행렬의 스펙트럼 분해가 이차형식에 대한 경사 하강법의 수렴 행동과 어떻게 관련되어 있는가?
• RQ5 이차 방법이 일계 방법보다 수렴 성능이 뛰어난 조건은 무엇인가?

주요 결과

• 이차형식에서의 순수 경사 하강법의 수렴 속도는 $\frac{\kappa - 1}{\kappa + 1}$로 유계이며, 여기서 $\kappa$는 조건수이다.
• 정확한 선형 탐색을 사용한 가장 낮은 경사법은 레이마 3.1에 의해 형식화된 바와 같이, 연속된 경사가 수직이므로 진동하는 행동을 보인다.
• 대칭 행렬의 경우, 질량은 비영인 고유값의 개수와 같으며, $\bm{A}^m = \bm{Q}\boldsymbol{\Lambda}^m\bm{Q}^T$를 통해 효율적인 행렬 거듭제곱 계산이 가능하다.
• 헤시안의 고유값이 모두 동일하거나 탐색 방향이 고유벡터와 일치할 경우, 단 한 번의 단계에서 수렴한다.
• 고유값의 중복도가 $k$인 경우, 대칭 행렬에서는 반드시 $k$개의 정규직교 고유벡터가 존재함이 보장되며, 이는 완전한 대각화 가능성을 보장한다.
• 행렬 곱셈은 랭크를 유지하는 성질을 가지며, $\mathrm{rank}(\bm{A}\bm{B}) \leq \min(\mathrm{rank}(\bm{A}), \mathrm{rank}(\bm{B}))$로 표현되며, 이는 스펙트럼 분석에서 핵심적인 성질이다.