[논문 리뷰] Study on the Large Batch Size Training of Neural Networks Based on the Second Order Gradient

Fengli Gao, Huicai Zhong|arXiv (Cornell University)|2020. 12. 16.

Advanced Neural Network Applications참고 문헌 29인용 수 6

한 줄 요약

이 논문은 두 번째 순서 미분 정보를 모델링하여 대용량 배치 학습에서의 일반화 갭을 해결하기 위해 곡률 기반 학습률(CBLR) 알고리즘을 제안한다. 이는 사라지는 파rameter 업데이트 단계가 날카로운 최소값과 관련이 있음을 이론적으로 연결하며, LARS와 같은 계층별 학습률 방법이 CBLR의 특수한 경우임을 보여주고, 손실 샘플 제거 및 배치 크기 스케줄링을 통해 향상된 일반화를 검증한다.

ABSTRACT

Large batch size training in deep neural networks (DNNs) possesses a well-known 'generalization gap' that remarkably induces generalization performance degradation. However, it remains unclear how varying batch size affects the structure of a NN. Here, we combine theory with experiments to explore the evolution of the basic structural properties, including gradient, parameter update step length, and loss update step length of NNs under varying batch sizes. We provide new guidance to improve generalization, which is further verified by two designed methods involving discarding small-loss samples and scheduling batch size. A curvature-based learning rate (CBLR) algorithm is proposed to better fit the curvature variation, a sensitive factor affecting large batch size training, across layers in a NN. As an approximation of CBLR, the median-curvature LR (MCLR) algorithm is found to gain comparable performance to Layer-wise Adaptive Rate Scaling (LARS) algorithm. Our theoretical results and algorithm offer geometry-based explanations to the existing studies. Furthermore, we demonstrate that the layer wise LR algorithms, for example LARS, can be regarded as special instances of CBLR. Finally, we deduce a theoretical geometric picture of large batch size training, and show that all the network parameters tend to center on their related minima.

연구 동기 및 목표

• 대용량 배치 학습에서의 딥 네ural 네트워크의 일반화 갭의 기하학적 원인을 이해하기 위해.
• 배치 크기가 기초적인 구조적 성질인 기울기, 파라미터 업데이트 단계 길이, 손실 업데이트 단계 길이에 미치는 영향을 분석하기 위해.
• 네트워크 전반의 계층별 곡률 변화에 적응하는 곡률 인식 학습률 전략을 개발하기 위해.
• LARS, LAMB, 학습률 웜업과 같은 기존 방법들이 두 번째 순서 기하학을 통해 어떻게 설명될 수 있는지 이론적 프레임워크를 제공하기 위해.
• 샘플 제거 및 배치 크기 스케줄링를 통해 대용량 배치 학습에서의 일반화 열화를 완화하기 위한 실용적 지침을 제공하기 위해.

제안 방법

• 두 번째 순서 기울기 근사치를 사용하여 네트워크 파라미터가 가장 가까운 손실 최소값으로부터의 거리를 모델링함으로써 대용량 배치 학습의 이론적 한계를 유도한다.
• 계층 간 국소 곡률 변화에 따라 학습률을 조정하는 곡률 기반 학습률(CBLR) 알고리즘을 제안하여 날카로운 최소값이나 평탄한 최소값에 더 잘 적응하도록 개선한다.
• 계산이 더 단순한 점을 고려해 CBLR의 실용적 근사치인 중앙 곡률 학습률(MCLR)을 도입하며, 이는 LARS 성능과 유사한 일반화 성능을 달성한다.
• 모르세 이론과 통계 분석을 사용하여 다양한 배치 크기 하에서 파라미터-최소값 거리의 분포를 모델링하고, 배치 크기가 증가함에 따라 최소값 수렴가능성을 보여준다.
• 다양한 배치 크기 하에서 계층 간 기울기 및 업데이트 단계 길이의 진화를 분석함으로써 이론을 실증적으로 검증한다.
• 곡률 및 업데이트 단계 길이의 동역학에 기반하여 일반화를 향상시키기 위한 두 가지 실용적 방법—작은 손실 샘플 제거 및 동적 배치 크기 스케줄링—을 설계한다.

실험 결과

연구 질문

• RQ1 배치 크기를 증가시키면 딥 네럴 네트워크 파라미터, 기울기, 손실 업데이트의 기하학적 구조에 어떤 영향을 미치는가?
• RQ2 왜 대용량 배치 학습이 더 나쁜 일반화를 초래하며, 손실 표면의 곡률은 어떤 역할을 하는가?
• RQ3 두 번째 순서 기울기 정보를 활용하여 대용량 배치 학습에서 일반화를 향상시키는 더 나은 학습률 스케줄링 전략을 설계할 수 있는가?
• RQ4 LARS, 학습률 웜업, 배치 크기 스케줄링와 같은 기존 방법들은 제안된 곡률 기반 프레임워크와 어떻게 관련이 있는가?
• RQ5 특히 파라미터가 최소값으로 수렴하는 데 있어 대용량 배치 학습의 이론적 기하학적 그림은 어떻게 나타나는가?

주요 결과

• 대용량 배치 학습은 기울기 분산 감소로 인해 파라미터 업데이트 단계 길이가 사라지게 하여 날카로운 최소값에서 조기 수렴하게 한다.
• 이론적 분석에 따르면 배치 크기가 증가함에 따라 네트워크 파라미터는 가장 가까운 손실 최소값에 중심을 맞추게 되며, 이는 의미 있는 최적화를 정지시키는 효과를 가진다.
• 곡률 기반 학습률(CBLR) 알고리즘은 계층별 곡률에 따라 학습률을 효과적으로 조정하여 대용량 배치 환경에서의 일반화를 향상시킨다.
• CBLR의 중앙 곡률 학습률(MCLR) 근사치는 계산이 단순함에도 불구하고 LARS와 유사한 성능을 달성하여 실용성과 이론적 타당성을 검증한다.
• LARS 및 LAMB와 같은 계층별 학습률 방법이 제안된 CBLR 프레임워크의 특수한 경우임을 보여주며, 이를 동일한 기하학적 원리 아래 통합한다.
• 샘플 제거 및 배치 크기 스케줄링와 같은 두 가지 실용적 방법이 일반화 갭을 효과적으로 완화시키며, AlexNet 및 CIFAR-10에서의 실증적 검증을 통해 이를 입증한다.