[논문 리뷰] A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks

Zhiqi Bu, Shiyun Xu외 1명|arXiv (Cornell University)|2020. 10. 25.

Stochastic Gradient Optimization Techniques참고 문헌 58인용 수 4

한 줄 요약

이 논문은 과다 매개변수화된 신경망에서 최적화 알고리즘에 대한 동역학 시스템적 시각을 제공하며, Heavy Ball (HB) 및 Nesterov 가속 경사하강법(NAG) 방법 하에서의 비볼록 가중치 동역학이 신경접선 커널(NTK)을 통해 강력한 볼록 오차 동역학으로 매핑될 수 있음을 보여준다. 이는 리아푸노프 함수와 한계 미분방정식을 활용하여 HB가 전역 선형 수렴을 달성하고, NAG는 하위선형 수렴을 이룬다는 것을 증명한다. 이는 볼록 최적화 이론을 비볼록 딥 러닝 환경으로 확장한다.

ABSTRACT

When equipped with efficient optimization algorithms, the over-parameterized neural networks have demonstrated high level of performance even though the loss function is non-convex and non-smooth. While many works have been focusing on understanding the loss dynamics by training neural networks with the gradient descent (GD), in this work, we consider a broad class of optimization algorithms that are commonly used in practice. For example, we show from a dynamical system perspective that the Heavy Ball (HB) method can converge to global minimum on mean squared error (MSE) at a linear rate (similar to GD); however, the Nesterov accelerated gradient descent (NAG) may only converges to global minimum sublinearly. Our results rely on the connection between neural tangent kernel (NTK) and finite over-parameterized neural networks with ReLU activation, which leads to analyzing the limiting ordinary differential equations (ODE) for optimization algorithms. We show that, optimizing the non-convex loss over the weights corresponds to optimizing some strongly convex loss over the prediction error. As a consequence, we can leverage the classical convex optimization theory to understand the convergence behavior of neural networks. We believe our approach can also be extended to other optimization algorithms and network architectures.

연구 동기 및 목표

• 과다 매개변수화된 신경망에서 비-GD 최적화 알고리즘의 전역 수렴 행동을 이해하기 위해.
• 동역학 시스템과 NTK를 활용해 비볼록 딥 러닝 최적화를 볼록 최적화 이론과 연결하기 위해.
• 기존 수렴 분석을 경사하강법을 초월해 HB 및 NAG와 같은 모멘텀 기반 방법으로 확장하기 위해.
• 이 알고리즘 하에서 오차 동역학이 강력한 볼록 문제와 유사함을 입증하여 리아푸노프 함수의 적용을 가능하게 하기 위해.

제안 방법

• 신경접선 커널(NTK) 프레임워크 하에서 과다 매개변수화된 ReLU 네트워크의 학습 동역학을 한계 미분방정식(ODE)으로 모델링한다.
• 비볼록 가중치 동역학을 강력한 볼록 오차 동역학 문제로 변환하여 고전적 볼록 최적화 도구의 적용을 가능하게 한다.
• Gronwall 부등식의 한계를 극복하기 위해 HB 및 NAG에 해당하는 두 번째 차수 ODE의 수렴성을 분석하기 위해 리아푸노프 함수를 사용한다.
• HB 및 NAG의 한계 ODE를 분석하여 수렴 속도를 유도하며, HB는 선형 수렴, NAG는 하위선형 수렴을 보임을 보여준다.
• 헤시안이 양의 정부호를 유지하는 한, 이와 같은 이론적 프레임워크가 더 깊은 아키텍처인 CNN 및 ResNet에도 적용 가능하다는 것을 입증한다.
• 적응형 최적화 방법으로의 확장을 위해 그들의 동역학을 ODE 시스템으로 모델링하며, 향후 Adam 유사 방법으로의 확장을 제안한다.

실험 결과

연구 질문

• RQ1 Heavy Ball 및 Nesterov와 같은 경사하강법 이외의 최적화 알고리즘이 과다 매개변수화된 신경망에서 전역 최소값으로 증명 가능하게 수렴할 수 있는가?
• RQ2 NTK 영역에서 HB 및 NAG의 수렴 속도는 표준 경사하강법과 어떻게 비교되는가?
• RQ3 동역학 시스템적 시각을 통해 고전적 볼록 최적화 이론을 비볼록 딥 러닝 문제에 적용할 수 있는가?
• RQ4 신경접선 커널(NTK)은 비볼록 가중치 동역학에서 오차 동역학으로의 매핑을 어떻게 가능하게 하는가?
• RQ5 이 프레임워크는 Adam 및 RMSProp과 같은 적응형 최적화 알고리즘으로 확장될 수 있는가?

주요 결과

• Heavy Ball 방법은 평균 제곱오차 손실 하에서 전역 선형 수렴을 보이며, 표준 경사하강법보다 더 빠른 수렴 속도를 가진다.
• Nesterov 가속 경사하강법은 전역 최소값으로 하위선형 수렴을 보이며, HB 또는 GD보다 더 많은 과다 매개변수화가 필요하다.
• 네트워크 가중치의 비볼록 최적화는 예측 오차에 대한 강력한 볼록 최적화 문제와 역학적으로 동일하며, 이는 리아푸노프 함수의 적용을 가능하게 한다.
• 헤시안이 NTK 하에서 양의 정부호를 유지하는 한, 이 수렴 분석은 CNN 및 ResNet을 포함한 광범위한 아키텍처 클래스에 대해 유효하다.
• HB 및 NAG의 한계 ODE는 일차원 네트워크에 국한되지 않고, 임의의 과다 매개변수화된 네트워크와 호환된다.
• 이 프레임워크는 Adam과 같은 적응형 최적화 방법이 ODE 시스템으로 분석될 수 있음을 시사하지만, 이러한 분석은 향후 연구를 위해 열려 있다.