[논문 리뷰] Directional Analysis of Stochastic Gradient Descent via von Mises-Fisher Distributions in Deep learning

Cheolhyoung Lee, Kyunghyun Cho외 1명|arXiv (Cornell University)|2018. 09. 29.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 미니배치 경사하강법 방향성 분석을 위해 von Mises-Fisher (vMF) 분포를 사용하여 경사하강법 방향의 집중도를 모델링한다. 이는 이론적으로나 실험적으로 경사하강법의 방향성 균일도(측정 기준으로 vMF 농도 파ameter κ)가 학습이 진행됨에 따라 증가하고, 이 방향성의 변동성이 노름 변동성보다도 전체 경사하강법의 변동성(신호 대 잡음비)을 더 강하게 이끄는 것으로 밝혀졌다.

ABSTRACT

Although stochastic gradient descent (SGD) is a driving force behind the recent success of deep learning, our understanding of its dynamics in a high-dimensional parameter space is limited. In recent years, some researchers have used the stochasticity of minibatch gradients, or the signal-to-noise ratio, to better characterize the learning dynamics of SGD. Inspired from these work, we here analyze SGD from a geometrical perspective by inspecting the stochasticity of the norms and directions of minibatch gradients. We propose a model of the directional concentration for minibatch gradients through von Mises-Fisher (VMF) distribution, and show that the directional uniformity of minibatch gradients increases over the course of SGD. We empirically verify our result using deep convolutional networks and observe a higher correlation between the gradient stochasticity and the proposed directional uniformity than that against the gradient norm stochasticity, suggesting that the directional statistics of minibatch gradients is a major factor behind SGD.

연구 동기 및 목표

• 노름 기반 분석을 넘어서 고차원에서의 SGD 역학을 이해하기 위해 경사하강법 방향성에 초점을 맞춘다.
• von Mises-Fisher (vMF) 분포를 사용하여 미니배치 경사하강법 방향의 방향 농도를 모델링한다.
• 학습 과정에서 방향성 균일도가 증가하는지, 그리고 노름 변동성보다도 경사하강법의 변동성과 더 강하게 상관되는지 조사한다.
• 배치 정규화와 잔차 연결을 포함한 현대 딥러닝 아키텍처에서 제안된 방향성 분석을 검증한다.
• 방향 통계학이 단지 노름 통계학보다도 SGD의 학습 역학을 이해하는 데 핵심적이라는 것을 입증한다.

제안 방법

• 미니배치 경사하강법 방향의 분포를 농도 파ameter κ를 가진 von Mises-Fisher (vMF) 분포로 모델링한다.
• 이론적으로 학습이 진행됨에 따라 경사하강법의 방향성 균일도(1/κ)가 증가함을 증명하며, 이는 방향성 분산 감소를 의미한다.
• 최대우도추정법을 사용하여 미니배치 경사하강법에서 vMF 농도 파ameter κ를 추정한다.
• 경사하강법의 변동성(SNR)을 경사하강법의 변동계수의 역수로 정의하고, 이를 노름 변동성과 방향성 변동성으로 분해한다.
• 로그-로그 산점도와 정규화된 시계열 변화를 사용하여 여러 학습 실행과 아키텍처에서 SNR, κ, normSNR를 비교한다.
• MNIST와 CIFAR-10에서 배치 정규화 유무에 관계없이 CNN, ResNet, 넓은 네트워크를 대상으로 실험하여 방향성 균일도 추세를 검증한다.

실험 결과

연구 질문

• RQ1 딥러닝 네트워크 학습 과정에서 vMF 분포로 모델링된 미니배치 경사하강법의 방향성 농도가 증가하는가?
• RQ2 vMF 파ameter κ로 측정된 방향성 균일도가 전체 경사하강법의 변동성(SNR)과 노름 변동성에 비해 얼마나 상관되는가?
• RQ3 배치 정규화와 잔차 연결과 같은 현대 딥러닝 구성요소가 SGD의 방향성 역학에 어느 정도 영향을 미치는가?
• RQ4 경사하강법의 방향성 변동성이 노름 변동성보다도 SNR에 더 큰 영향을 미치는가?
• RQ5 vMF 분포는 고차원 딥러닝 최적화에서 미니배치 경사하강법의 방향 행동을 효과적으로 모델링할 수 있는가?

주요 결과

• 추정된 vMF 농도 파ameter κ는 학습 전반에 걸쳐 유의미하게 증가하여, 미니배치 경사하강법의 방향성 균일도가 증가함을 시사한다.
• 모든 실험 설정에서 SNR의 역수와 방향성 균일도의 역수(1/κ) 사이에 높은 상관관계가 있으며, 로그-로그 산점도에서 R² > 0.9이다.
• 노름 변동성(normSNR)은 SNR와 상당히 약한 상관관계를 보이며, 전체 경사하강법 변동성의 주요 요인로는 되지 않는 것으로 나타났다.
• 방향성 균일도 추세는 표준 CNN, 배치 정규화가 적용된 CNN, 잔차 네트워크 등 다양한 아키텍처에서 유지된다.
• 네 가지 다른 무작위 가중치 초기화 설정에서도 SNR와 κ 사이의 상관관계는 강하게 유지되어 강건성을 확인한다.
• 네트워크 크기의 영향으로 인해 κ의 절대값은 서로 비교할 수 없으며, 상대적 또는 정규화된 분석이 필요함을 시사한다.