[논문 리뷰] On the Proof of Global Convergence of Gradient Descent for Deep ReLU Networks with Linear Widths

Quynh Nguyen|arXiv (Cornell University)|2021. 01. 24.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 10

한 줄 요약

이 논문은 표준 파rameterization을 가진 깊은 ReLU 네트워크에서 경사하강법의 전역 수렴을 더 단순화된 증명으로 제시한다. 단일 넓은 히든 레이어(초기화에 따라 선형, 이차, 또는 삼차 폭)만 필요하며, 활성화 패턴 변화의 복잡한 분석을 피한다. 이는 ReLU의 리프시츠 성질을 이용해 마지막 히든 레이어의 출력만 추적함으로써 기존의 NTK 행렬 전반을 분석하는 것과는 달리, 더 나은 과다 매개변수화 한계를 달성한다.

ABSTRACT

We give a simple proof for the global convergence of gradient descent in training deep ReLU networks with the standard square loss, and show some of its improvements over the state-of-the-art. In particular, while prior works require all the hidden layers to be wide with width at least $Ω(N^8)$ ($N$ being the number of training samples), we require a single wide layer of linear, quadratic or cubic width depending on the type of initialization. Unlike many recent proofs based on the Neural Tangent Kernel (NTK), our proof need not track the evolution of the entire NTK matrix, or more generally, any quantities related to the changes of activation patterns during training. Instead, we only need to track the evolution of the output at the last hidden layer, which can be done much more easily thanks to the Lipschitz property of ReLU. Some highlights of our setting: (i) all the layers are trained with standard gradient descent, (ii) the network has standard parameterization as opposed to the NTK one, and (iii) the network has a single wide layer as opposed to having all wide hidden layers as in most of NTK-related results.

연구 동기 및 목표

• 표준 파rameterization을 가진 깊은 ReLU 네트워크에서 경사하강법의 전역 수렴에 대한 더 단순한 증명을 제공하는 것.
• 모든 히든 레이어가 넓어야 한다는 요구 조건이 있었던 이전 연구들과 비교해 과다 매개변수화 요구 조건을 줄이는 것.
• ReLU 네트워크 분석에서 증명을 복잡하게 만드는 활성화 패턴 변화의 복잡한 분석을 피하는 것.
• 학습 샘플 수 N에 대한 폭 의존성 개선을 통해 전역 수렴을 확립하는 것.
• 초기화 유형에 따라 선형, 이차, 또는 삼차 폭을 가지는 단일 넓은 히든 레이어만 필요하다는 것을 보여주는 것.

제안 방법

• 증명은 마지막 히든 레이어의 출력을 통해 NTK 행렬의 최소 고유값에 하한을 둠: λ_min(K) ≥ λ_min(F_{L-1}F_{L-1}^T).
• ReLU의 리프시츠 성질을 이용해 훈련 중 F_{L-1}의 변화를 추적함으로써 변화를 제어한다.
• 핵심 혁신은 각 반복에서 손실을 분해하기 위해 전이 행렬 G = F_{L-1}^k W_L^{k+1}을 사용하는 것으로, 삼각 부등식을 통해 깔끔한 수렴 증명을 가능하게 한다.
• 기존의 ReLU 네트워크에 기반한 NTK 증명과 달리, 전체 NTK 행렬이나 활성화 패턴 변화의 추적을 피한다.
• 초기화 시 λ_min(F_{L-1}F_{L-1}^T)가 0에서 멀리 떨어져 있고, 훈련 중에도 유지되도록 보장하는 충분한 조건을 유도한다.
• 모든 레이어에서 표준 경사하강법 업데이트를 사용하며, 입력 또는 출력 레이어를 고정하지 않아 더 자연스럽고 투명한 증명을 가능하게 한다.

실험 결과

연구 질문

• RQ1 활성화 패턴 변화의 추적 없이도 깊은 ReLU 네트워크에서 경사하강법의 전역 수렴을 증명할 수 있는가?
• RQ2 단일 히든 레이너만 넓을 때, 전역 수렴을 위한 최소 과다 매개변수화 요구 조건은 무엇인가?
• RQ3 전체 NTK 행렬이 아닌 마지막 히든 레이어 출력에 집중함으로써 수렴 증명을 단순화시킬 수 있는가?
• RQ4 기존 연구들과 비교해 본 방법이 N에 대한 더 나은 폭 의존성(폭의 종속성)을 달성하는가?
• RQ5 약간의 초기화 조건 하에서도 표준 파arameterization과 모든 레이어의 전체 훈련이 여전히 전역 수렴을 보장할 수 있는가?

주요 결과

• 표준 파arameterization을 가진 깊은 ReLU 네트워크에서 경사하강법의 전역 수렴이 단일 넓은 히든 레이어만 필요함을 확립하였다.
• LeCun 초기화의 경우 이중 네트워크에서는 N에 대해 이차 폭이 충분하고, 더 깊은 아키텍처에서는 삼차 폭이 충분하다.
• 과다 매개변수화 요구 조건은 O(N)에서 O(N^3)으로 스케일링되며, 이는 이전 연구에서 모든 히든 레이어가 넓어야 한다는 조건에서 요구된 O(N^8)보다 개선된 것이다.
• 활성화 패턴 변화 분석을 피함으로써, ReLU 네트워크 분석에서 주요 기술적 난관을 회피하였다.
• 손실이 단조 감소함을 보장하고, 고정된 네트워크 크기에서 ε에 독립적으로 고려 확률로 0으로 수렴함을 보장한다.
• 핵심 통찰은 훈련 중 λ_min(F_{L-1}F_{L-1}^T)가 0에서 멀리 떨어져 있으면, GD가 전역 최적점으로 선형 수렴함을 의미한다.