[논문 리뷰] Optimization Theory for ReLU Neural Networks Trained with Normalization Layers

Yonatan Dukler, Quanquan Gu외 1명|arXiv (Cornell University)|2020. 06. 11.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 13

한 줄 요약

이 논문은 경사하강법 하에서 두 층의 ReLU 신경망에 대한 웨이트 정규화(WN)를 적용할 경우, 전역 수렴 보장을 처음으로 제시한다. WN은 신경접촉핵(NTK)의 길이-방향 분해를 통해 최적화 경관을 수정함으로써, 정규화되지 않은 학습보다 더 빠른 수렴을 가능하게 한다. 분석을 통해 선형 수렴 속도와 더 낫게 조정된 과다매개변수화 한계를 확립하였으며, 기존 학습 방식에 비해 수렴을 위해 필요한 넓이가 줄어들었음을 보여주었다.

ABSTRACT

The success of deep neural networks is in part due to the use of normalization layers. Normalization layers like Batch Normalization, Layer Normalization and Weight Normalization are ubiquitous in practice, as they improve generalization performance and speed up training significantly. Nonetheless, the vast majority of current deep learning theory and non-convex optimization literature focuses on the un-normalized setting, where the functions under consideration do not exhibit the properties of commonly normalized neural networks. In this paper, we bridge this gap by giving the first global convergence result for two-layer neural networks with ReLU activations trained with a normalization layer, namely Weight Normalization. Our analysis shows how the introduction of normalization layers changes the optimization landscape and can enable faster convergence as compared with un-normalized neural networks.

연구 동기 및 목표

• 비볼록 최적화에서의 정규화 레이어의 경험적 성공과 수렴 보장의 부재 사이의 이론적 격차를 메우기 위해.
• 웨이트 정규화가 비정규화 설정과 비교할 때 ReLU 네트워크의 최적화 경관을 어떻게 변화시키는지 분석하기 위해.
• 웨이트 정규화와 경사하강법을 사용해 훈련하는 두 층의 ReLU 네트워크에 대해 증명 가능한 전역 수렴을 확립하기 위해.
• 기존 연구에 비해 더 낫게 조정된 과다매개변수화 한계와 향상된 수렴 속도를 유도하기 위해.
• 정규화 하에서 신경접촉핵(NTK)의 정교한 분석을 통해 WN의 유용성을 설명하기 위해.

제안 방법

• 스케일 g와 방향 v/||v||를 통한 재매개변수화를 통해 가중치가 재정의된 두 층의 ReLU 네트워크를 분석한다.
• 웨이트 정규화 하에서 NTK의 길이-방향 분해를 도입하여 두 가지의 별개의 수렴 영역을 드러낸다.
• 랜덤 초기화와 L2 손실을 사용한 과다매개변수화 영역(m > n)에서 회귀 과제를 위해 적용한다.
• 신경접촉핵 이론의 도구를 적용하고, 이전 연구들([15], [3])의 경계를 정교화하여 경사하강법의 역학을 분석한다.
• 확률적 농도 경계와 기하급수적 급수 추정을 사용하여 파라미터 궤적과 기울기 갱신을 제어한다.
• 수정된 NTK와 경사하강법 단계 크기를 통한 훈련 오차 감소를 경계함으로써 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 웨이트 정규화는 비정규화 학습과 비교할 때 ReLU 네트워크의 최적화 경관을 어떻게 변화시키는가?
• RQ2 웨이트 정규화를 사용해 훈련하는 ReLU 네트워크가 경사하강법 하에서 전역 수렴을 증명할 수 있는가?
• RQ3 정규화는 수렴 속도와 필요 과다매개변수화에 어떤 영향을 미치는가?
• RQ4 웨이트 정규화 하에서 신경접촉핵(NTK)은 어떻게 진화하며, 어떤 구조적 변화가 발생하는가?
• RQ5 비정규화된 경우에 비해 정규화된 ReLU 네트워크에 대해 더 낫게 조정된 과다매개변수화 한계를 도출할 수 있는가?

주요 결과

• 논문은 경사하강법을 사용해 훈련하는 두 층의 ReLU 네트워크에 대해 웨이트 정규화를 적용한 최초의 전역 수렴 결과를 확립한다.
• 수렴은 선형 속도로 발생하며, 비정규화 학습 대비 (1 - ηαωα)의 요소로 개선된 수렴 인자 값을 가진다.
• 웨이트 정규화는 길이-방향 분해를 통해 NTK 역학을 수정함으로써, 비정규화 학습보다 더 빠른 수렴을 가능하게 한다.
• 비정규화 설정에 비해 상당히 감소된 과다매개변수화가 필요하며, 정교한 분석을 통해 더 낫게 조정된 경계가 도출되었다.
• 이론적 분석은 효과적 커널의 조건수를 감소시켜 실질적으로 학습 속도를 가속화함을 확인한다.
• 수정된 NTK 구조와 가중치 크기 민감도 감소를 통해 수렴 속도와 안정성 향상의 경험적 개선을 설명한다.