[논문 리뷰] Towards understanding how momentum improves generalization in deep learning

Samy Jelassi, Yuanzhi Li|arXiv (Cornell University)|2022. 07. 13.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 딥러닝에서 모멘텀이 일반화를 향상시키는 이유에 대한 이론적 및 실증적 분석을 제공하며, 예시들이 공통된 특징을 공유하지만 마진이 다를 경우 모멘텀이 일반화를 향상시킨다는 것을 보여줍니다. 핵심 통찰은 역사적 기울기를 활용하여 공통된 특징의 학습을 유지함으로써, 표준 경사하강법이 하지 못하는 바와 같이 낮은 마진 예시의 기억을 방지한다는 것입니다.

ABSTRACT

Stochastic gradient descent (SGD) with momentum is widely used for training modern deep learning architectures. While it is well-understood that using momentum can lead to faster convergence rate in various settings, it has also been observed that momentum yields higher generalization. Prior work argue that momentum stabilizes the SGD noise during training and this leads to higher generalization. In this paper, we adopt another perspective and first empirically show that gradient descent with momentum (GD+M) significantly improves generalization compared to gradient descent (GD) in some deep learning problems. From this observation, we formally study how momentum improves generalization. We devise a binary classification setting where a one-hidden layer (over-parameterized) convolutional neural network trained with GD+M provably generalizes better than the same network trained with GD, when both algorithms are similarly initialized. The key insight in our analysis is that momentum is beneficial in datasets where the examples share some feature but differ in their margin. Contrary to GD that memorizes the small margin data, GD+M still learns the feature in these data thanks to its historical gradients. Lastly, we empirically validate our theoretical findings.

연구 동기 및 목표

• 모멘텀이 수렴 속도 향상 외의 이유로 딥러닝에서 일반화를 향상시키는 근본적 메커니즘을 이해하는 것.
• 모멘텀의 일반화 이점이 확률적 성격에 기인한 것인지, 아니면 최적화 동역학의 본질적 성질에 기인한 것인지 조사하는 것.
• 과다 파rameter화된 CNN에서 GD+M이 GD보다 더 잘 일반화하는 것을 증명할 수 있는 이진 분류 설정을 공식적으로 분석하는 것.
• 특징이 공유되지만 마진이 다양할 경우 모멘텀이 일반화를 향상시키는 조건을 특정하는 것.

제안 방법

• GD와 GD+M를 비교하기 위해 일중간층 과다 파arameter화된 컨볼루션 신경망을 사용한 이진 분류 설정을 제안하는 것.
• 역사적 기울기 활용 덕분에 데이터가 공통된 특징을 공유하지만 마진이 다를 경우 GD+M이 GD보다 더 잘 일반화한다는 것을 공식적으로 증명하는 것.
• 이론적 분석을 통해 모멘텀이 역사적 기울기를 활용하여 낮은 마진 예시의 기억을 방지하고 특징 학습을 유지함으로써 일반화를 향상시킨다는 것을 보여주는 것.
• 배치 정규화 유무에 관계없이 VGG-19 및 MLP/CNN 아키텍처를 사용하여 CIFAR-10 및 합성 가우시안 데이터셋에서 결과를 실증적으로 검증하는 것.
• 스토캐스틱 기울기 노이즈를 제거하기 위해 전체 배치 경사하강법(GD 및 GD+M)을 사용하여 모멘텀의 영향을 고립하는 것.
• 역사적 기울기가 데이터 포인트의 마진 변화에도 불구하고 특징 학습을 유지하는 데 기여하는 역할을 분석하는 것.

실험 결과

연구 질문

• RQ1 모멘텀이 수렴 속도 향상 외에 딥러닝에서 일반화를 향상시키는 이유는 무엇인가요?
• RQ2 모멘텀의 일반화 이점은 노이즈 감소 때문인가, 아니면 최적화 경로의 구조적 성질 때문인가요?
• RQ3 어떤 데이터 및 네트워크 조건에서 모멘텀이 더 나은 일반화를 이끌어내나요?
• RQ4 모멘텀은 공통된 특징을 학습하면서 낮은 마진 예시의 기억을 방지할 수 있나요?
• RQ5 모멘텀의 이점은 확률적 성격과 무관하게 전체 배치 설정에서도 유지되나요?

주요 결과

• 모멘텀은 전체 배치 설정에서도 일반화를 향상시키며, 이는 그 이점이 스토캐스틱 기울기 노이즈 때문이 아니라는 것을 시사합니다.
• 합성 가우시안 데이터셋에서 목표 함수가 복잡할 경우(예: 1-CNN, 2-CNN), GD+M이 GD보다 더 잘 일반화되며, 테스트 정확도 향상 최대 3.5%를 기록합니다.
• 1-CNN 학생 네트워크의 경우 GD+M은 94.39%의 테스트 정확도를 기록한 반면, GD는 94.18%를 기록하여 일관된 향상이 있음을 보여줍니다.
• 이론적 분석을 통해 과다 파arameter화된 CNN에서 예시들이 공통된 특징을 공유하지만 마진이 다를 경우 GD+M이 GD보다 더 잘 일반화한다는 것을 증명했습니다.
• 모멘텀은 역사적 기울기를 활용하여 낮은 마진 예시의 기억을 방지하고 특징 학습을 유지함으로써 일반화를 향상시킵니다.
• CIFAR-10에서의 실증 결과는 배치 크기가 클수록 모멘텀의 일반화 향상 효과가 증가함을 보여주며, 이는 그 효과가 확률적 성격과 무관함을 확인합니다.