[논문 리뷰] On the Distributional Properties of Adaptive Gradients

Zhiyi Zhang, Liu Ziyin|arXiv (Cornell University)|2021. 05. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 4

한 줄 요약

이 논문은 적응형 경사하강법, 특히 Adam의 분포적 성질에 대한 이론적 분석을 제공하며, 등방성 가우시안 경사하강에서조차도 파라미터 업데이트의 분산이 시간이 지남에 따라 유한하고 유계임을 보여주며, 이는 이전의 분산이 발산하여 웜업이 필요하다는 주장과 정면으로 배치된다. 연구는 각 시간 단계에서의 정확한 업데이트 분포를 유도하고, 트랜스포머와 같은 현대적 아키텍처에서 실험적으로 검증한다.

ABSTRACT

Adaptive gradient methods have achieved remarkable success in training deep neural networks on a wide variety of tasks. However, not much is known about the mathematical and statistical properties of this family of methods. This work aims at providing a series of theoretical analyses of its statistical properties justified by experiments. In particular, we show that when the underlying gradient obeys a normal distribution, the variance of the magnitude of the extit{update} is an increasing and bounded function of time and does not diverge. This work suggests that the divergence of variance is not the cause of the need for warm up of the Adam optimizer, contrary to what is believed in the current literature.

연구 동기 및 목표

• 적응형 경사하강법의 통계적 성질, 특히 학습 중 파라미터 업데이트의 분산과 분포를 조사하는 것.
• 특히 트랜스포머와 같은 모델에서 분산이 발산하면 학습률 웜업이 필요하다는 일반적인 믿음을 도전하는 것.
• 등방성 가우시안 경사하강 가정 하에 Adam의 정확한 분석적 업데이트 분포를 유도하여 관찰된 학습 동역학의 이론적 기반을 마련하는 것.
• 현대 딥러닝 모델, 특히 트랜스포머와 CNN에서의 단일 트레이제터리 수준에서의 실측 데이터와 이론적 예측을 대조하여 검증하는 것.
• 이론적 예측이 실세계 결과와 다를 수 있는 조건, 예를 들어 평균이 0이 아닌 경우나 꼬리가 두꺼운 경사 분포 등에 대해 탐구하는 것.

제안 방법

• 독립 동일분포 등방성 가우시안 경사하강과 시간 평균 조건부 행렬을 가정할 때, Adam에서 파라미터 업데이트 Δθ의 정확한 분포를 유도한다.
• 경사하강 분포에 대한 가정 없이도 업데이트 크기의 분산이 유한하고 시간이 지남에 따라 단조로이 증가함을 증명한다.
• 분석적 유도와 시뮬레이션을 통해 업데이트 분포가 시간이 지남에 따라 이중체형에서 단일체형으로 전이되고, 점점 가우시안 분포로 수렴함을 보여준다.
• 단일 실행 데이터를 사용하여 MNIST, ResNet-18, VGG-21, 트랜스포머에서의 실제 학습 트레이제터리와 예측된 분포를 실험적으로 검증한다.
• 조절 가능한 경사하강 분포(예: 시간에 따라 변하는 분산, 평균이 0이 아닌 경우, 코시 분포 등)를 도입하여 이론과의 괴리 원인을 연구하고 현실 세계의 불일치를 이해한다.
• 경사하강 상관관계와 꼬리가 두꺼운 분포가 업데이트 분포 형태에 미치는 영향을 분석하며, 실세계에서 관찰되는 삼중체형 구조를 포함한다.

실험 결과

연구 질문

• RQ1 학습 과정에서 적응형 경사하강 업데이트의 분산이 발산하는가? 만약 그렇지 않다면 시간에 따라 어떻게 변화하는가?
• RQ2 등방성 가우시안 경사하강 가정 하에 Adam에서 업데이트 분포의 정확한 분석적 형태는 무엇인가?
• RQ3 실세계 학습 트레이제터리에서 이중체형 또는 삼중체형 업데이트 분포가 나타나는 이유는 무엇이며, 이는 경사하강 분포적 성질과 어떻게 관련이 있는가?
• RQ4 특히 트랜스포머와 같은 깊은 모델에서 독립 동일분포 경사하강을 가정한 이론적 예측이 얼마나 실용적으로 성립하는가?
• RQ5 평균이 0이 아닌 또는 꼬리가 두꺼운 경사하강 분포는 업데이트 분포를 어떻게 기울이거나 왜곡하는가?

주요 결과

• 적응형 경사하강 업데이트의 분산은 항상 유한하고 유계이며, Liu 등(2019)의 주장과는 달리 분산이 발산하여 웜업이 필요하다는 주장은 잘못됨을 시사한다.
• 등방성 가우시안 경사하강 조건 하에서 업데이트 분포는 모든 유한한 시간 단계에서 유계이며, 시간이 지남에 따라 이중체형에서 단일체형으로 전이되고, t → ∞일 때 가우시안 분포로 수렴한다.
• 업데이트 크기의 분산은 시간이 지남에 따라 단조로이 증가하므로, 초기 학습 단계에서 더 높은 변동성을 보이지만 전체적으로는 안정된 업데이트를 유지함을 의미한다.
• 이론적 예측은 트랜스포머를 포함한 다양한 아키텍처에서 실측 분포와 매우 잘 일치하며, 단일 트레이제터리 수준에서도 성립한다.
• 평균이 0이 아닌 경사하강은 왼쪽 기울기 있는 업데이트 분포를 유도하며, 이는 평균 크기가 증가함에 따라 점점 더 적은 기울기와 더 얇아지는 경향이 있다.
• 꼬리가 두꺼운 경사하강 분포, 예를 들어 코시 분포는 삼중체형 업데이트 분포를 유도하며, 이는 희귀한 고노름 경사하강 또는 강한 노이즈가 학습 과정에 존재함을 시사한다.