[논문 리뷰] Understanding Why Neural Networks Generalize Well Through GSNR of Parameters

Jinlong Liu, Guoqing Jiang외 3명|arXiv (Cornell University)|2020. 01. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 21

한 줄 요약

이 논문은 깊이 있는 신경망의 일반화를 설명하는 핵심 요소로 모델 파라미터의 기울기 신호 대 잡음 비율(GSNR)을 제안한다. 기울기 하강법의 동역학이 자연스럽게 높은 GSNR를 생성하며, 이는 일관되고 패턴에 맞는 파라미터 갱신을 촉진함으로써 더 나은 일반화와 강하게 상관됨을 보여준다. 이론적 및 실험적 증거를 통해 높은 GSNR가 일반화 갭을 감소시킴을 입증한다.

ABSTRACT

As deep neural networks (DNNs) achieve tremendous success across many application domains, researchers tried to explore in many aspects on why they generalize well. In this paper, we provide a novel perspective on these issues using the gradient signal to noise ratio (GSNR) of parameters during training process of DNNs. The GSNR of a parameter is defined as the ratio between its gradient's squared mean and variance, over the data distribution. Based on several approximations, we establish a quantitative relationship between model parameters' GSNR and the generalization gap. This relationship indicates that larger GSNR during training process leads to better generalization performance. Moreover, we show that, different from that of shallow models (e.g. logistic regression, support vector machines), the gradient descent optimization dynamics of DNNs naturally produces large GSNR during training, which is probably the key to DNNs' remarkable generalization ability.

연구 동기 및 목표

• 깊이 있는 신경망(DNN)이 고도의 용량과 과잉 파rameter화에도 불구하고 왜 잘 일반화되는지 이해하기 위해.
• 모델 파라미터의 기울기 신호 대 잡음 비율(GSNR)이 일반화 성능에 미치는 역할을 조사하기 위해.
• GSNR과 훈련 중 일반화 갭 사이의 정량적 연관성을 수립하기 위해.
• 기울기 하강 최적화 동역학이 DNN에서 파라미터의 GSNR을 어떻게 자연스럽게 증진시키는지 분석하기 위해.

제안 방법

• 모든 파라미터 θj에 대해 GSNR를 정의한다. GSNR는 데이터 분포에 대해 기울기의 제곱된 평균을 분산으로 나눈 비율로, r(θj) = g̃²(θj) / ρ²(θj)로 표현된다.
• 훈련 중 일반화 성능을 측정하기 위해 일보 일반화 비율(OSGR)을 도입하며, 이는 이론적 경계를 통해 GSNR와 연결된다.
• 간소화된 모델을 사용해 DNN의 훈련 동역학을 분석하여, 기울기 하강법이 GSNR를 증가시키는 정성적 피드백 루프를 유도함을 보여준다.
• 파라미터 갱신에 의해 유도되는 기울기 평균의 변화 ΔgD,s,c를 유도하며, W와 gD가 반대 부호를 가질 경우 |gD|가 증가함을 보여, 이는 GSNR의 분자 부분을 강화한다.
• MNIST에 대한 실험 분석을 통해 절댓값 기준 상위 10%의 가중치에서 W와 gD 사이에 강한 음의 상관관계를 관찰하여, 정상적인 상태에서 GSNR가 높아지는 것을 뒷받침한다.
• 상관관계 분석을 통해 피크 GSNR 단계에서 높은 GSNR를 보이는 특징들이 목표 출력과 강한 양의 상관관계를 보임을 보여, 일반화 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 모델 파라미터의 기울기 신호 대 잡음 비율(GSNR)은 깊이 있는 신경망에서 일반화 갭과 어떻게 관련이 있는가?
• RQ2 왜 깊이 있는 신경망은 훈련 샘플 수에 비해 훨씬 많은 파라미터를 가졌음에도 불구하고 잘 일반화되는가?
• RQ3 기울기 하강법은 훈련 중 모델 파라미터의 GSNR를 어떻게 형성하는가?
• RQ4 DNN의 훈련 동역학이 자연스럽게 높은 GSNR를 생성하고 활용함을 입증할 수 있는가?
• RQ5 기울기 하강법 내에서 시간이 지남에 따라 GSNR를 증폭시키는 피드백 메커니즘이 존재하는가, 이는 더 나은 일반화로 이어지는가?

주요 결과

• 훈련 중 더 높은 GSNR는 일반화 성능 향상과 강하게 상관되며, OSGR와 GSNR를 연결하는 이론적 경계를 통해 이를 입증하였다.
• DNN에서 기울기 하강 최적화 과정은 가중치와 기울기 부호 간의 정성적 피드백 루프로 인해 자연스럽게 높은 GSNR 상태로 파라미터를 이동시킨다.
• MNIST에 대한 실험 결과, 절댓값 기준 상위 10%의 가중치에서 약 80%가 가중치와 기울기 평균 간에 반대 부호를 가지며, 이는 높은 GSNR를 유지하는 데 유리한 안정 상태임을 시사한다.
• 특징 중요도와 목표 출력 간 상관관계는 초기 단계에서 피크 GSNR 단계로 갈수록 크게 증가하며, 특히 특징 17의 경우 -0.33에서 0.53으로 상승하여 일반화 성능 향상을 나타낸다.
• 가중치 W와 기울기 평균 gD가 반대 부호를 가질 경우, 기울기 평균의 변화 ΔgD,s,c는 음의 상관관계를 보이며, 이는 |gD| 증가로 이어지고 결과적으로 지속적인 정성적 피드백을 통해 GSNR가 증가함을 의미한다.
• 이론적 분석을 통해 기울기 갱신식의 일阶 항이 가중치와 기울기가 반대 상관관계를 가질 경우 GSNR 증가를 촉진함을 확인하였으며, 이는 DNN에서 높은 GSNR가 어떻게 발생하는지를 설명한다.