[논문 리뷰] Spherical Motion Dynamics: Learning Dynamics of Neural Network with Normalization, Weight Decay, and SGD

Ruosi Wan, Zhanxing Zhu외 2명|arXiv (Cornell University)|2020. 06. 15.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 6

한 줄 요약

이 논문은 배치 정규화, 가중치 감쇠, 모멘텀을 가진 확률적 경사 하강법(SGD)를 갖는 딥 네ural 네트워크의 학습 동역학을 분석하는 이론적 프레임워크인 구면 운동역학(SMD)을 소개한다. 약간의 가정 하에 가중치 노름과 각도 갱신이 선형 수렴함을 입증하며, 효과적 학습률보다 더 우월한 측도로 각도 갱신을 제안한다. 이는 ImageNet과 MSCOCO에서의 실험적으로 검증되었으며, 이론과 실무 간의 뛰어난 일치를 보였다.

ABSTRACT

In this work, we comprehensively reveal the learning dynamics of neural network with normalization, weight decay (WD), and SGD (with momentum), named as Spherical Motion Dynamics (SMD). Most related works study SMD by focusing on "effective learning rate" in "equilibrium" condition, where weight norm remains unchanged. However, their discussions on why equilibrium condition can be reached in SMD is either absent or less convincing. Our work investigates SMD by directly exploring the cause of equilibrium condition. Specifically, 1) we introduce the assumptions that can lead to equilibrium condition in SMD, and prove that weight norm can converge at linear rate with given assumptions; 2) we propose "angular update" as a substitute for effective learning rate to measure the evolving of neural network in SMD, and prove angular update can also converge to its theoretical value at linear rate; 3) we verify our assumptions and theoretical results on various computer vision tasks including ImageNet and MSCOCO with standard settings. Experiment results show our theoretical findings agree well with empirical observations.

연구 동기 및 목표

• 정규화된 신경망에서 효과적 학습률에 대한 이전 연구에서 가정된 평형 조건에 대한 엄밀한 정당화가 부족한 문제를 해결하기 위해.
• 정규화된 학습에서 네트워크 진화를 측정하는 데 더 의미 있는 측도로 효과적 학습률보다 각도 갱신을 제안하기 위해.
• 정규화, 가중치 감쇠, 모멘텀 SGD가 존재하는 조건에서 가중치 노름이 선형 수렴할 수 있는 이론적 조건을 확립하기 위해.
• ResNet-50, MobileNet-V2, ShuffleNet-V2+를 포함한 다양한 컴퓨터 비전 벤치마크에서 ImageNet과 MSCOCO를 통해 이론적 발견을 실증적으로 검증하기 위해.

제안 방법

• SMD에서 가중치 노름이 선형 수렴하는 조건을 도입하고, 경사 하강 역학 분석을 통해 수렴 속도를 증명한다.
• 스케일 불변 측도로 네트워크 진화를 정량화하기 위해 각도 갱신을 제안하며, 정규화된 환경에서 효과적이지 않은 효과적 학습률을 대체한다.
• 제안된 가정 하에 모멘텀을 가진 확률적 경사 하강법과 가중치 감쇠를 사용하여 가중치 노름과 각도 갱신에 대한 이론적 수렴 속도를 유도한다.
• 표준 학습 프로토콜을 사용하여 ResNet-50, MobileNet-V2, ShuffleNet-V2+에서 ImageNet과 MSCOCO에서 이론적 예측을 실증적으로 검증한다.
• SMD에서 선형 확대 원칙(Linera Scaling Principle)의 한계를 분석하여, 각도 갱신이 배치 크기보다는 학습률과 모멘텀에 주로 의존하므로 배치 크기 변화에 따라 각도 갱신 역학을 안정적으로 유지하지 못함을 보여준다.
• 시뮬레이션과 실제 학습 실행을 통해 이론적 각도 갱신 값과 실측 관측값을 비교하여 강한 일치를 확인한다.

실험 결과

연구 질문

• RQ1 가중치 감쇠와 SGD가 존재하는 정규화된 신경망에서, 가중치 노름이 약간의 변화를 보이며 일정하게 유지되는 평형 조건은 어떤 조건에서 실제로 성립하는가?
• RQ2 왜 효과적 학습률은 정규화된 네트워크의 진짜 동역학을 포착하지 못하며, 무엇이 학습 진전을 더 잘 반영하는 대체 측도인가?
• RQ3 SMD에서 현실적인 가정 하에 가중치 노름과 각도 갱신의 수렴이 선형 비율로 증명될 수 있는가?
• RQ4 SMD 프레임워크 하에서 선형 확대 원칙은 실무에서 어떻게 작동하며, 그 이론적 한계는 무엇인가?
• RQ5 이론적 예측된 각도 갱신 값이 실제 세계의 비전 벤치마크에서 실측 관측값과 얼마나 일치하는가?

주요 결과

• 제안된 가정 하에 가중치 노름이 선형 수렴 속도로 평형 상태에 도달함을 입증하여, 이전에 증명 없이 가정된 평형 조건에 대한 엄밀한 정당성을 제공한다.
• 각도 갱신이 이론적 값 $\sqrt{\frac{2\lambda\eta}{1+\alpha}}$ 로 선형 수렴 속도로 수렴함을 입증하며, 효과적 학습률보다 더 정확하고 스케일 불변인 학습 진전 측도를 제공한다.
• ImageNet과 MSCOCO에서의 실증 결과는 이론적 예측과 관측된 각도 갱신 간에 강력한 일치를 보이며, SMD 프레임워크가 다양한 아키텍처와 데이터셋에서 검증되었음을 확인한다.
• 선형 확대 원칙은 배치 크기 변화에 따라 각도 갱신 역학을 안정적으로 유지하지 못함을 보여주며, 각도 갱신은 주로 학습률과 모멘텀에 의존하므로 이 원칙의 이론적 기반을 도전한다.
• 시뮬레이션과 실험을 통해 평형 상태에서 기울기 노름의 증가 비율과 각도 갱신 증가 간 상관관계가 없음을 확인하여, LSP의 가정을 추가로 뒷받침하지 못함을 밝힌다.
• 이론적 프레임워크는 정규화, 가중치 감쇠, 모멘텀 SGD의 상호작용을 성공적으로 설명하며, 현대 딥 러닝의 학습 동역학에 대한 통합적 시각을 제공한다.