[논문 리뷰] On the training dynamics of deep networks with $L_2$ regularization

Aitor Lewkowycz, Guy Gur-Ari|arXiv (Cornell University)|2020. 06. 15.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 25

한 줄 요약

이 논문은 과다 파rameter화된 딥 네트워크에서 피크 성능에 도달하는 데 소요되는 시간이 $L_2$ 정규화 계수 $\lambda$에 반비례하며, 훈련 시간을 $\lambda^{-1}$로 스케일링할 경우 피크 성능이 $\lambda$에 독립적이 된다는 것을 밝혀냈다. 이를 바탕으로 저자들은 훈련 속도와 정확도를 향상시키는 동적 $L_2$ 스케줄링인 Auto $L_2$와 최소한의 계산으로 최적의 $\lambda$를 예측하는 방법을 제안하였으며, CIFAR-10 및 ImageNet에서 검증하였다.

ABSTRACT

We study the role of $L_2$ regularization in deep learning, and uncover simple relations between the performance of the model, the $L_2$ coefficient, the learning rate, and the number of training steps. These empirical relations hold when the network is overparameterized. They can be used to predict the optimal regularization parameter of a given model. In addition, based on these observations we propose a dynamical schedule for the regularization parameter that improves performance and speeds up training. We test these proposals in modern image classification settings. Finally, we show that these empirical relations can be understood theoretically in the context of infinitely wide networks. We derive the gradient flow dynamics of such networks, and compare the role of $L_2$ regularization in this context with that of linear models.

연구 동기 및 목표

• 과도하게 파arameter화된 딥 네트워크에서 고전적인 편향-분산 직관이 무너지는 상황에서 $L_2$ 정규화의 역할을 이해하는 것.
• 학습률, 훈련 스텝 수, 모델 성능와 연결된 $L_2$ 정규화의 경험적 스케일링 법칙을 규명하는 것.
• 훈련 효율성과 테스트 정확도를 향상시키는 실용적인 도구—$L_2$ 예측 및 동적 스케줄링—을 개발하는 것.
• 무한한 너비의 네트워크 분석과 기울기 흐름 방정식을 사용하여 관측된 역학을 이론적으로 설명하는 것.

제안 방법

• 피크 성능가 발생하는 시점이 $t_* \approx c / \lambda$임을 경험적으로 관찰하며, 이때 $c$는 데이터, 아키텍처, 하이퍼파ram터에 따라 달라진다.
• 단일의 짧은 훈련 실행을 통해 계수 $c$를 추정함으로써 최적의 $\lambda$를 예측하는 방법을 제안한다.
• 초기 수렴 속도를 높이기 위해 높은 $\lambda$로 시작하여 훈련 중에 감쇠하는 동적 스케줄링인 Auto $L_2$를 도입한다.
• 무한히 넓은 네트워크에 대한 기울기 흐름 역학을 유도하며, $\lambda$에 의해 핵심 감쇠가 발생하는 것을 보여준다.
• MSE 손실에 대해 유도된 미분방정식을 해결함으로써 피크 훈련 시간의 $\lambda^{-1}$ 스케일링을 확인한다.
• 이론적 분석을 통해 $L_2$ 정규화는 선형 모델과 달리 딥 네트워크에서 핵심 감쇠를 유도하며, 이는 다른 훈련 역학적 특성을 초래한다.

실험 결과

연구 질문

• RQ1 과다 파arameter화된 딥 네트워크에서 $L_2$ 정규화는 피크 테스트 정확도의 시기와 크기에 어떻게 영향을 미치는가?
• RQ2 단일의 짧은 훈련 실행으로부터 최적의 $L_2$ 정규화 계수를 예측할 수 있는가?
• RQ3 훈련 중에 감쇠하는 동적 $L_2$ 스케줄링은 일정한 $\lambda$보다 훈련 속도와 성능 측면에서 더 우수한가?
• RQ4 무한히 넓은 네트워크에서 $L_2$ 정규화는 선형 모델과 비교해 훈련 역학을 어떻게 변화시키는가?
• RQ5 딥 네트워크에서 관측된 피크 성능 시간의 $\lambda^{-1}$ 스케일링에 대한 이론적 근거는 무엇인가?

주요 결과

• 피크 성능에 도달하는 스텝 수는 $t_* \approx c / \lambda$로 스케일링되며, 이때 $c$는 바닐라 SGD를 사용할 경우 학습률 $\eta$에 영향을 받지 않는다.
• 훈련 시간을 $\lambda^{-1}$로 스케일링할 경우, 작은 $\lambda$에서 성능이 정점에 도달하고 $\lambda$에 독립적이며, $\lambda = 0$일 때보다 성능이 높은 경우가 많다.
• 제안된 $L_2$ 예측 방법은 단일의 짧은 훈련 실행만으로도 튜닝된 $\lambda$ 값과 0.4% 이내의 테스트 정확도를 달성한다.
• 동적으로 감쇠하는 $L_2$ 스케줄링인 Auto $L_2$는 테스트 정확도와 훈련 속도 측면에서 튜닝된 일정한 $\lambda$로 훈련된 모델보다 뛰어나다.
• 무한히 넓은 네트워크의 이론적 분석을 통해 $L_2$ 정규화는 신경접근핵을 지수적으로 감쇠시키며, 이로 인해 피크 성능 시간이 $\lambda^{-1}$로 스케일링됨을 밝혀냈다.
• 선형 모델과는 달리, $L_2$ 정규화를 적용한 딥 네트워크는 훈련 중에 핵심 감쇠를 보이며, 이는 훈련 역학의 $\lambda$-의존성의 차이를 설명한다.