[논문 리뷰] When Does Stochastic Gradient Algorithm Work Well?

Lam M. Nguyen, Nam Nguyen외 3명|arXiv (Cornell University)|2018. 01. 18.

Stochastic Gradient Optimization Techniques참고 문헌 8인용 수 8

한 줄 요약

이 논문은 고정된 큰 스텝 사이즈를 사용하는 확률적 경사 하강법(SGD)이 최적 해의 이웃으로 향해 향상된 수렴 속도를 달성할 수 있는 새로운 가정을 제안한다. 핵심 기여는 대부분의 구성 함수들이 최적 해에서 작은 기울기를 가지는 경우(SGD의 기울기 추정치의 분산이 낮을 경우), SGD가 전체 경사 하강법과 유사하게 행동함을 보여주는 것이다. 이는 딥 뉴럴 네트워크 및 분류 모델에서의 SGD의 경험적 성공을 설명한다.

ABSTRACT

In this paper, we consider a general stochastic optimization problem which is often at the core of supervised learning, such as deep learning and linear classification. We consider a standard stochastic gradient descent (SGD) method with a fixed, large step size and propose a novel assumption on the objective function, under which this method has the improved convergence rates (to a neighborhood of the optimal solutions). We then empirically demonstrate that these assumptions hold for logistic regression and standard deep neural networks on classical data sets. Thus our analysis helps to explain when efficient behavior can be expected from the SGD method in training classification models and deep neural networks.

연구 동기 및 목표

• 딥 뉴럴 네트워크 및 분류 모델 학습에서 고정된 스텝 사이즈를 사용하는 SGD의 경험적 성공을 설명하기 위해.
• 확률적 기울기의 높은 분산에도 불구하고 SGD가 빠른 수렴을 달성할 수 있는 조건을 규명하기 위해.
• SGD가 분산 감소 없이 효율적으로 행동하는 조건을 특징짓는 새로운 이론적 가정을 제안하기 위해.
• 제안된 가정이 표준 딥 러닝 설정(로지스틱 회귀 및 MNIST, SVHN, CIFAR10, CIFAR100에서의 DNN)에서 실제로 성립하는지 경험적으로 검증하기 위해.
• 정류점에서의 기울기 분산을 분석하여 실용적 성능과 이론적 수렴 속도 사이의 격차를 메우기 위해.

제안 방법

• 새로운 가정을 제안: 최적 해에서 1−ε 비율의 구성 함수들이 기울기의 제곱 노름이 ε 이하인 경우, 확률적 기울기 추정치의 분산이 낮아진다.
• 실제로 가정을 검증하기 위해 $ r_t = \frac{\frac{1}{t+1}\sum_{k=0}^{t}\left(\frac{1}{n}\sum_{i=1}^{n}\|\nabla f_i(\mathbf{w}_k) - \nabla f_i(\mathbf{w}_*)\|\right)}{\frac{1}{t+1}\sum_{k=0}^{t}\|F(\mathbf{w}_k)\|^{2}} $ 를 도입하여 기울기 이탈과 목적 함수 값의 비율을 모니터링한다.
• 수치 실험을 통해 $ N $을 추정하며, 이는 $ r_t $의 상한을 나타내며 해에 가까운 지역에서 기울기 추정치의 안정성을 수량화한다.
• 표준 딥 러닝 아키텍처(FFN, CNN)와 데이터셋(MNIST, SVHN, CIFAR10, CIFAR100)를 사용하여 Adam과 SGD 하에서 가정을 검증한다.
• 레마 1을 적용하여 미니배치 크기를 증가시키면 기울기 분산이 감소함을 보여, 가정이 더 잘 성립할 가능성이 높아진다.
• 수렴 행동을 분석하기 위해 최종 해에서 $ \|\nabla f_i(\mathbf{w})\| \leq \epsilon $ 인 구성 함수의 비율 $ p_\epsilon $ 를 측정하여, 낮은 분산 기울기 행동을 나타낸다.

실험 결과

연구 질문

• RQ1 고정된 큰 스텝 사이즈를 사용하는 SGD가 최적 해의 이웃으로 얼마나 신속하게 수렴하는가?
• RQ2 이론적으로는 하위선형 수렴 속도를 보이지만 실무에서는 왜 SGD가 분산 감소 방법보다 자주 슈퍼어리어어지는가?
• RQ3 실제 딥 러닝 모델에서 구성 함수의 기울기가 최적 해에서 얼마나 오랫동안 작게 유지되는가?
• RQ4 정류점 근처에서의 확률적 기울기 행동이 비볼록 최적화에서 SGD의 강건성과 어떻게 관련되는가?
• RQ5 적응형 또는 감소하는 스텝 사이즈가 필요 없이 SGD의 경험적 성공을 기술할 수 있는 이론적 가정을 어떻게 형성할 수 있는가?

주요 결과

• MNIST, SVHN, CIFAR10, CIFAR100에서의 로지스틱 회귀 및 표준 딥 뉴럴 네트워크에서, 최종 해에서 99.5% 이상의 구성 함수들이 $ \epsilon = 10^{-7} $ 이하의 기울기를 가지며, 제안된 가정이 경험적으로 성립함을 확인했다.
• 모든 테스트 설정에서 $ \epsilon = 10^{-7} $ 인 경우 $ p_\epsilon \geq 99.42\% $ 로 나타나, 대부분의 구성 기울기가 수렴 시에 무시할 만큼 작다는 것을 시사한다.
• 확률적 기울기의 진짜 평균에서의 상대적 이탈을 측정하는 비율 $ r_t $ 는 반복 과정 전반에 걸쳐 상한 상수 이하로 유지되며, 제안된 가정의 타당성을 뒷받침한다.
• $ r_t $ 의 상한을 나타내는 $ N $ 의 값은 작게 추정되었으며, 예를 들어 MNIST-FFN의 경우 $ 2.1 \times 10^{-8} $ 으로 나타났다. 이는 최적 해 근처에서 기울기 추정치가 안정적임을 의미한다.
• 제안된 가정에 따르면, 기울기 분산이 낮을 경우 고정된 스텝 사이즈를 사용하는 SGD의 수렴 속도가 전체 경사 하강법과 동일해진다.
• 더 큰 미니배치 크기는 기울기 분산을 감소시켜 조건 $ 1 - p_\epsilon \leq \epsilon $ 가 더 잘 성립할 가능성을 높이며, 극한의 경우 SGD는 전체 경사 하강법의 행동에 수렴한다.