[논문 리뷰] Exponential convergence rates for Batch Normalization: The power of length-direction decoupling in non-convex optimization

Jonas Köhler, Hadi Daneshmand외 4명|arXiv (Cornell University)|2018. 05. 27.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 28

한 줄 요약

이 논문은 배치 정규화(BN)가 비볼록 최적화에서 경사하강법을 증명 가능하게 가속화한다는 최초의 이론적 증명을 제공한다. 이는 가중치 벡터의 길이와 방향을 분리함으로써 이루어지며, 가우시안 입력을 가진 학습 반평면 문제에서 지수 수렴 속도를 보여주며, 손실 곡면의 유리한 전역 구조를 이용해 더 빠른 최적화를 가능하게 한다.

ABSTRACT

Normalization techniques such as Batch Normalization have been applied successfully for training deep neural networks. Yet, despite its apparent empirical benefits, the reasons behind the success of Batch Normalization are mostly hypothetical. We here aim to provide a more thorough theoretical understanding from a classical optimization perspective. Our main contribution towards this goal is the identification of various problem instances in the realm of machine learning where % -- under certain assumptions-- Batch Normalization can provably accelerate optimization. We argue that this acceleration is due to the fact that Batch Normalization splits the optimization task into optimizing length and direction of the parameters separately. This allows gradient-based methods to leverage a favourable global structure in the loss landscape that we prove to exist in Learning Halfspace problems and neural network training with Gaussian inputs. We thereby turn Batch Normalization from an effective practical heuristic into a provably converging algorithm for these settings. Furthermore, we substantiate our analysis with empirical evidence that suggests the validity of our theoretical results in a broader context.

연구 동기 및 목표

• 딥 러닝에서 배치 정규화(BN)의 경험적 성공에 대한 엄밀한 이론적 설명을 제공하는 것.
• BN의 가속화가 내부 공분산 이동 또는 손실 매끄러움이 아닌 길이-방향 분리 때문인지 조사하는 것.
• 특히 학습 반평면 문제에서 비볼록 설정에서 BN의 증명 가능한 수렴 속도를 확립하는 것.
• 더 깊은 네트워크, 예를 들어 ReLU/tanh 활성화 함수를 사용한 CIFAR10에서 이론적 결과를 실증적으로 검증하는 것.
• 이阶 도함수를 통한 정규화가 깊은 네트워크에서 곡률과 계층 간 종속성에 미치는 영향을 분석하는 것.

제안 방법

• 가중치 벡터의 길이와 방향 최적화를 분리하는 메커니즘으로서 배치 정규화를 분석한다.
• 가우시안 입력을 가진 학습 반평면 문제에서 지수(선형) 수렴을 달성하기 위해 적응형 학습률 기법을 도입한다.
• 가중치를 방향과 척도로 매개변수화하는 정규화된 좌표계를 사용하여 각 성분을 별도로 최적화할 수 있도록 한다.
• CIFAR10을 사용한 6층 피드포워드 네트워크(층당 50개 유닛)에서 BN과 표준 GD를 실증적으로 평가하며 계층 간 헤시안 종속성을 측정한다.
• 정규화된 vs. 비정규화된 설정에서 두 번째 편도함수 ∂²f/∂W₄∂Wᵢ의 프로베니우스 노름을 계산하여 계층 간 기울기 종속성을 정량화한다.
• 고정된 학습률을 사용한 GD, BN, Wn(가중치 정규화) 간의 훈련 동역학을 손실, 기울기 노름, 최적성 미달 정도 곡선을 통해 비교한다.

실험 결과

연구 질문

• RQ1 배치 정규화는 비볼록 최적화 문제에서 경사하강법을 증명 가능하게 가속화할 수 있는가?
• RQ2 BN의 성능 향상은 내부 공분산 이동 또는 손실 매끄러움이 아닌 길이-방향 분리 때문인가?
• RQ3 이 분리 효과는 가우시안 입력을 가진 구조화된 비볼록 문제인 학습 반평면 문제에서 지수 수렴 속도를 유도하는가?
• RQ4 정규화는 깊은 신경망에서 곡률과 계층 간 종속성에 어떤 영향을 미치는가?
• RQ5 BN의 이론적 이점은 CIFAR10에서 훈련되는 더 깊고 실제적인 아키텍처에서 관찰될 수 있는가?

주요 결과

• 배치 정규화는 가우시안 입력을 가진 학습 반평면 문제에서 경사하강법에 대해 지수(선형) 수렴 속도를 가능하게 하며, 이는 BN의 가속화가 증명 가능하다는 것을 입증한다.
• BN에서의 길이-방향 분리는 손실 곡면의 유리한 전역 구조를 기반으로 한 기울기 기반 최적화 방법이 가능하게 하며, 이는 표준 GD에서는 존재하지 않는 특성이다.
• CIFAR10에서의 실증 결과는 BN이 계층 간 기울기 종속성을 크게 감소시킴을 보여주며, 이는 더 단순한 곡률 구조를 의미한다.
• BN 네트워크에서 중심층의 방향 기울기는 상류 계층의 영향을 훨씬 덜 받으며, 이는 더 안정적이고 분리된 최적화 궤적을 의미한다.
• BN은 시간이 지남에 따라 계층 간 두 번째 도함수의 프로베니우스 노름을 감소시키지만, GD는 높은 종속성을 유지하며, 이는 BN이 최적화 곡면을 단순화함을 확인한다.
• 표준 GD보다 Gdnp(스케일에 대해 증가된 학습률을 가진 정규화된 GD)의 우수한 성능은 적응형 스케일링과 정규화가 함께 수렴을 향상시킨다는 것을 시사한다.