[논문 리뷰] On the Convergence of Deep Networks with Sample Quadratic Overparameterization.

Asaf Noy, Yi Xu외 2명|arXiv (Cornell University)|2021. 01. 12.

Stochastic Gradient Optimization Techniques인용 수 1

한 줄 요약

이 논문은 표본 크기의 제곱에 비례하고 깊이에 비례하는 너비를 가진 ReLU 네트워크에 대해 전역 최소값 수렴를 확립한다. 이는 로그 수렴 시간을 달성한다. 연구는 고정된 활성화 패턴을 가진 서브stituted 네트워크를 도입하여 더 엄밀한 이론적 경계를 가능하게 하고, 유한한 너비에서 신경 터닝 커널(NTK)과의 등가성을 확보한다. 이는 일반화에 대한 영향을 미치는 새로운 훈련 가속화 방법을 제공한다.

ABSTRACT

Deep neural networks' remarkable ability to correctly fit training data when optimized by gradient-based algorithms is yet to be fully understood. Recent theoretical results explain the convergence for ReLU networks that are wider than those used in practice by orders of magnitude. In this work, we take a step towards closing the gap between theory and practice by significantly improving the known theoretical bounds on both the network width and the convergence time. We show that convergence to a global minimum is guaranteed for networks with widths quadratic in the sample size and linear in their depth at a time logarithmic in both. Our analysis and convergence bounds are derived via the construction of a surrogate network with fixed activation patterns that can be transformed at any time to an equivalent ReLU network of a reasonable size. This construction can be viewed as a novel technique to accelerate training, while its tight finite-width equivalence to Neural Tangent Kernel (NTK) suggests it can be utilized to study generalization as well.

연구 동기 및 목표

• 이론적 수렴 보장과 실질적 딥 러닝 간 격차를 좁히기 위해 네트워크 너비와 수렴 시간에 대한 이론적 경계를 향상시키기 위해.
• 실제 설정에 더 가까운 현실적인 너비와 깊이 스케일링 하에서 ReLU 네트워크에 대한 엄밀한 이론적 분석을 제공하기 위해.
• 유한한 너비에서 신경 터닝 커널(NTK)과의 등가성을 유지하면서도 더 엄밀한 수렴 분석을 가능하게 하는 서브stituted 네트워크 구축 방법을 개발하기 위해.
• 이러한 서브stituted 네트워크를 사용하여 NTK에 대한 이론적 등가성을 유지하면서도 훈련을 가속화할 수 있는지 보여주기 위해.
• 제안된 구조를 통해 유한한 너비의 ReLU 네트워크에서 일반화를 연구하기 위한 이론적 기초를 마련하기 위해.

제안 방법

• 저자는 고정된 활성화 패턴을 가진 서브stituted 네트워크를 구축하여 언제든지 등가의 ReLU 네트워크로 변환할 수 있도록 한다.
• 이 서브stituted 네트워크는 유한한 너비에서 신경 터닝 커널(NTK)과의 등가성을 유지하도록 설계되어 이론적 분석을 가능하게 한다.
• 이 방법은 ReLU 네트워크의 구조와 활성화 패턴의 안정성을 활용하여 현실적인 너비 스케일링 하에서 수렴 경계를 유도한다.
• 경사 하강법 하에서 네트워크의 역학을 분석함으로써 수렴을 증명하며, 너비와 깊이 양쪽에서 로그 수렴 시간을 보인다.
• 이전 연구에서 사용된 실질적 설정보다 수십 배 이상 큰 과잉 파ram터화 가정을 피하기 때문에, 이전 연구보다 더 엄밀한 이론적 경계를 확보할 수 있다.
• 서브stituted 네트워크는 훈련 가속화와 NTK 등가성을 통한 일반화 분석을 모두 위한 도구로 기능한다.

실험 결과

연구 질문

• RQ1 극도의 과잉 파aram터화가 필요로 하지 않고, 실질적 설정에 더 가까운 너비 스케일링을 가진 ReLU 네트워크에 대해 전역 수렴을 보장할 수 있는가?
• RQ2 경사 하강법 하에서 전역 최소값으로 수렴하기 위해 필요한 최소 네트워크 너비와 깊이는 얼마인가?
• RQ3 유한한 너비에서 신경 터닝 커널(NTK)과의 등가성을 유지하면서도 고정된 활성화 패턴을 가진 서브stituted 네트워크를 어떻게 구성할 수 있는가?
• RQ4 이러한 서브stituted 네트워크를 사용하여 이론적 보장을 유지하면서도 훈련을 가속화할 수 있는가?
• RQ5 이러한 구조는 유한한 너비의 딥 네트워크에서 일반화를 이해하는 데 어떤 영향을 미치는가?

주요 결과

• 표본 크기의 제곱에 비례하고 깊이에 비례하는 너비를 가진 ReLU 네트워크에 대해 전역 최소값으로의 수렴이 보장된다.
• 수렴 시간은 네트워크 너비와 깊이 양쪽에서 로그 스케일링으로 증가하며, 이는 이전의 경계보다 크게 향상된 것이다.
• 제안된 서브stituted 네트워크는 유한한 너비에서 신경 터닝 커널(NTK)과의 등가성을 유지하며, 일반화에 대한 이론적 분석을 가능하게 한다.
• 이 구조는 이전 연구에서 사용된 극도의 과잉 파aram터화를 피하기 때문에, 더 엄밀한 이론적 분석이 가능하다.
• 서브stituted 네트워크는 언제든지 등가의 ReLU 네트워크로 변환될 수 있어, 훈련 가속화를 위한 실질적인 메커니즘을 제공한다.
• 이 방법은 NTK 등가성을 통해 유한한 너비의 딥 네트워크에서 일반화를 연구하기 위한 새로운 이론적 프레임워크를 구축한다.