[논문 리뷰] The Quenching-Activation Behavior of the Gradient Descent Dynamics for Two-layer Neural Network Models

Chao Ma, Lei Wu외 1명|arXiv (Cornell University)|2020. 06. 25.

Neural Networks and Applications참고 문헌 23인용 수 6

한 줄 요약

이 논문은 Xavier 유사 초기화 하에서 두 층 신경망의 경사하강법 역학을 조사하며, 대부분의 뉴런이 조기에 억제된 후 몇몇 주요 뉴런이 활성화되는 '억제-활성화 전이'를 규명한다. 이는 암묵적 정규화를 가능하게 하고 일반화 성능을 향상시킨다. 이 행동은 모든 뉴런이 균일하게 진화하는 평균장 스케일링과 대조되며, 그러한 전이가 발생하지 않는다.

ABSTRACT

A numerical and phenomenological study of the gradient descent (GD) algorithm for training two-layer neural network models is carried out for different parameter regimes when the target function can be accurately approximated by a relatively small number of neurons. It is found that for Xavier-like initialization, there are two distinctive phases in the dynamic behavior of GD in the under-parametrized regime: An early phase in which the GD dynamics follows closely that of the corresponding random feature model and the neurons are effectively quenched, followed by a late phase in which the neurons are divided into two groups: a group of a few "activated" neurons that dominate the dynamics and a group of background (or "quenched") neurons that support the continued activation and deactivation process. This neural network-like behavior is continued into the mildly over-parametrized regime, where it undergoes a transition to a random feature-like behavior. The quenching-activation process seems to provide a clear mechanism for "implicit regularization". This is qualitatively different from the dynamics associated with the "mean-field" scaling where all neurons participate equally and there does not appear to be qualitative changes when the network parameters are changed.

연구 동기 및 목표

• 두 층 신경망에서 경사하강법 학습 중 암묵적 정규화 메커니즘을 이해하기 위해.
• 과다 및 과소 파rameter화된 영역에서 전통적 스케일링과 평균장 스케일링 간의 학습 역학 차이를 조사하기 위해.
• 전통적 스케일링에서의 억제-활성화 과정이 무작위 특징 모델을 초월해 일반화 성능 향상에 기여하는 메커니즘을 탐색하기 위해.
• 네트워크 폭이 증가함에 따라 신경망 유사 행동과 무작위 특징 유사 행동 간의 전이를 특성화하기 위해.
• 초기화(예: Xavier)가 두 층 신경망에서 경사하강법의 궤적과 수렴 행동을 어떻게 형성하는지 명확히 하기 위해.

제안 방법

• 타겟 함수가 Barron 클래스에 속하는 두 층 신경망에서 ReLU 활성화 함수를 사용한 경사하강법의 수치 시뮬레이션.
• 동일한 초기화 하에서 전통적 스케일링(1/m 요소 없음)과 평균장 스케일링(1/m 요소 있음) 간의 학습 역학 비교.
• 뉴런 수준의 역학 추적: 외부 계층 가중치, 내부 계층 파ram터 및 시간에 따른 변화.
• 다양한 네트워크 폭(m)과 데이터셋 크기(n)에서 테스트 오차와 일반화 갭 분석.
• 재스케일링을 통한 전통적 스케일링과 평균장 스케일링 궤적 간 일对일 대응: ã = a/m, B̃ = mB.
• 경로 노름과 Barron 노름 성장 분석을 통한 암묵적 정규화 효과 평가.

실험 결과

연구 질문

• RQ1 전통적 스케일링 하에서 두 층 신경망의 경사하강법이 뉴런의 억제에서 활성화로의 전이를 보이는가?
• RQ2 모든 뉴런이 균일하게 진화하는 평균장 스케일링과 비교해 억제-활성화 행동은 어떻게 다를까?
• RQ3 억제-활성화 과정이 경로 노름의 비제어적 증가를 방지하는 암묵적 정규화 메커니즘으로 기능할 수 있는가?
• RQ4 네트워크 폭이 증가함에 따라 신경망 유사 행동과 무작위 특징 유사 행동 간의 전이점은 무엇인가?
• RQ5 전통적 스케일링은 평균장 스케일링과 달리 차원의 저주를 피할 수 있는가?

주요 결과

• 과소 파rameter화된 영역에서, 경사하강법은 두 단계를 보인다: 초기에 대부분의 뉴런이 비활성화되는 억제 단계와 이후에 몇몇 활성화된 뉴런이 다이내믹스를 지배하는 후기 단계.
• 활성화된 뉴런은 타겟 함수를 피팅하는 데 기여하며, 억제된 뉴런은 동적 과정을 지원하여 암묵적 정규화를 가능하게 한다.
• 이러한 억제-활성화 메커니즘은 경로 노름의 통제된 성장을 이끌어내어 양호한 일반화 성능 유지에 기여한다.
• 약간 과다 파arameter화된 영역에서는 억제-활성화 행동이 유지되다가 무작위 특징 유사 역학으로 전이된다.
• 평균장 스케일링 하에서는 모든 뉴런이 크게 진화하고 역학이 더 매끄럽지만, m ~ n 에서 차원의 저주로 인해 일반화 성능이 악화된다.
• 전통적 스케일링과 평균장 스케일링 궤적 간 일대일 대응은 동역학의 차이가 기본 최적화에 기인하지 않고 초기 파aram터 스케일링에 기인함을 보여준다.