[논문 리뷰] A Quantitative Analysis of the Effect of Batch Normalization on Gradient Descent

Yongqiang Cai, Qianxiao Li외 1명|arXiv (Cornell University)|2018. 09. 28.

Machine Learning and ELM인용 수 7

한 줄 요약

이 논문은 일반 최소 제곱법(OLS) 회귀의 맥락에서 배치 정규화(BN)의 정량적 분석을 제공하며, BN을 사용한 경사 하강법(BNGD)이 임의의 학습률에서 선형 수렴성을 보이며, 조건 수 개선과 학습률 선택에 대한 민감도 감소로 인해 더 빠른 수렴을 보임을 보여준다. 결과적으로 BN은 특히 과도하게 파rameter화된 설정에서 안정성과 수렴 속도를 향상시키며, 수치적으로 검증된 효과는 깊이 있는 모델로도 정성적으로 일반화됨을 시사한다.

ABSTRACT

Despite its empirical success and recent theoretical progress, there generally lacks a quantitative analysis of the effect of batch normalization (BN) on the convergence and stability of gradient descent. In this paper, we provide such an analysis on the simple problem of ordinary least squares (OLS). Since precise dynamical properties of gradient descent (GD) is completely known for the OLS problem, it allows us to isolate and compare the additional effects of BN. More precisely, we show that unlike GD, gradient descent with BN (BNGD) converges for arbitrary learning rates for the weights, and the convergence remains linear under mild conditions. Moreover, we quantify two different sources of acceleration of BNGD over GD -- one due to over-parameterization which improves the effective condition number and another due having a large range of learning rates giving rise to fast descent. These phenomena set BNGD apart from GD and could account for much of its robustness properties. These findings are confirmed quantitatively by numerical experiments, which further show that many of the uncovered properties of BNGD in OLS are also observed qualitatively in more complex supervised learning problems.

연구 동기 및 목표

• 최적화에서 경사 하강법(GD)의 수렴성과 안정성에 미치는 배치 정규화(BN)의 영향을 정량적으로 이해하는 것.
• GD의 역동성이 완전히 알려진 가장 단순한 비트ivial한 지도 학습 문제인 일반 최소 제곱법(OIS) 회귀를 분석함으로써 BN의 영향을 고립시키는 것.
• BNGD가 표준 GD보다 우월한 구체적 메커니즘을 특정하고 정량화하는 것—특히 학습률에 대한 내성성과 수렴 속도 향상 측면에서.
• 수치 실험을 통해 OLS 설정에서의 발견을 검증하고, 더 복잡한 딥 러닝 문제로의 정성적 일반화 가능성 평가

제안 방법

• 연구는 손실 함수가 이차형이며 GD 역동성이 해석 가능한 OLS 문제에서 BNGD를 분석한다.
• 학습률가 일정할 때 BNGD의 정확한 수렴 성질을 유도하여, BN이 포함된 가중치 갱신 규칙이 존재할 경우 임의의 학습률에서 선형 수렴성을 보임을 보여준다.
• BNGD에서 과도하게 파rameter화된 상태에서 조건 수의 효과적 개선 정도를 정량화한다. 이는 수렴 속도 향상에 기여한다.
• 학습률에 민감하지 않은 간격을 도입하며, 이는 헤시안의 흔적과 두 번째 모멘트의 크기로 특성화되며, 차원이 증가함에 따라 커진다.
• 이론적 결과를 검증하기 위해, 고차원 OLS 문제에서 고유값 분포가 다양한 경우(산술, 기하, 변형된 항등행렬)에 대해 수치 실험을 수행한다.
• 산술 평균에서 극단치의 영향을 피하기 위해, 랜덤 초기화 간 성능 평가에 기하 평균을 사용한다.

실험 결과

연구 질문

• RQ1 배치 정규화는 학습률 민감도 측면에서 경사 하강법의 수렴 행동을 어떻게 변화시키는가?
• RQ2 특히 수렴 속도와 안정성 측면에서, OLS 설정에서 BNGD는 표준 GD보다 어떤 정량적 개선을 제공하는가?
• RQ3 BN의 이점—학습률에 대한 민감도 감소와 더 빠른 수렴—은 과도하게 파rameter화된 상태와 조건 수 감소에 기인하는 정도는 어느 정도인가?
• RQ4 OLS에서의 이론적 통찰은 더 복잡한 딥 러닝 문제로 일반화될 수 있는가?

주요 결과

• 표준 GD는 큰 학습률을 사용할 경우 발산할 수 있지만, BNGD는 가중치에 대해 임의의 학습률에서 선형 수렴성을 보인다.
• BNGD의 수렴 속도는 GD보다 더 빠르며, 과도하게 파arameter화된 상태에서 최적화 문제의 효과적 조건 수가 감소함에 따라 향상된다.
• 빠른 수렴을 이끄는 학습률 범위(민감도가 낮은 간격)는 문제의 차원이 증가함에 따라 커지며, 이는 헤시안의 흔적과 두 번째 모멘트로 특성화된다.
• 수치 실험을 통해 OLS에서의 학습률에 대한 민감도 감소와 더 빠른 수렴 성질이 비선형 활성함수를 포함한 더 깊은 모델에서도 정성적으로 유지됨을 확인하였다.
• 손실과 오차의 기하 평균은 산술 평균보다 더 빠르게 수렴함을 보여, 기하 평균이 랜덤 초기화 간 BNGD 성능 평가에 더 신뢰할 수 있는 지표임을 시사한다.
• 고유값이 산술 또는 기하 수열로 배열된 헤시안 행렬의 경우, 최적의 학습률 크기는 차원에 대해 약 선형적으로 증가함을 확인하였으며, 이는 이론적 예측을 뒷받침한다.