[논문 리뷰] Understanding and Scheduling Weight Decay

Zeke Xie, Issei Sato외 1명|arXiv (Cornell University)|2020. 11. 23.

Adversarial Robustness in Machine Learning참고 문헌 60인용 수 10

한 줄 요약

이 논문은 학습 동역학을 통해 가중치 감소의 새로운 이론적 이해를 제안하고, 학습률에 따라 가중치 감소를 적응적으로 스케줄링하는 Stable Weight Decay (SWD) 스케줄러를 도입한다. 또한 대용량 배치 학습을 위한 선형 스케일링 규칙을 제안하여 배치 크기와 비례해 가중치 감소를 증가시켜 일반화 성능을 향상시킨다. 실험 결과, 기존의 L2 정규화 및 분리된 가중치 감소보다 우수한 성능을 보였다.

ABSTRACT

Weight decay is a popular and even necessary regularization technique for training deep neural networks that generalize well. Previous work usually interpreted weight decay as a Gaussian prior from the Bayesian perspective. However, weight decay sometimes shows mysterious behaviors beyond the conventional understanding. For example, the optimal weight decay value tends to be zero given long enough training time. Moreover, existing work typically failed to recognize the importance of scheduling weight decay during training. Our work aims at theoretically understanding novel behaviors of weight decay and designing schedulers for weight decay in deep learning. This paper mainly has three contributions. First, we propose a novel theoretical interpretation of weight decay from the perspective of learning dynamics. Second, we propose a novel weight-decay linear scaling rule for large-batch training that proportionally increases weight decay rather than the learning rate as the batch size increases. Third, we provide an effective learning-rate-aware scheduler for weight decay, called the Stable Weight Decay (SWD) method, which, to the best of our knowledge, is the first practical design for weight decay scheduling. In our various experiments, the SWD method often makes improvements over $L_{2}$ Regularization and Decoupled Weight Decay.

연구 동기 및 목표

• 장기적인 학습에서 최적의 가중치 감소 값이 0에 수렴하는 등 가중치 감소의 신비로운 행동을 설명하기 위해 학습 동역학을 통해 재해석한다.
• 기존 딥 러닝 실무에서 가중치 감소 스케줄링에 대한 관심 부족 문제를 해결한다.
• 모델의 일반화 성능을 향상시키기 위한 실용적이고 학습률 인지 스케줄러를 개발한다.
• 학습률이 아닌 배치 크기와 비례해 가중치 감소를 증가시키는 대용량 배치 학습을 위한 선형 스케일링 규칙을 제안한다.
• 특히 장기 학습 및 대용량 배치 환경에서 기존의 L2 정규화 및 분리된 가중치 감소에 대한 이론적으로 탄탄한 대안을 제공한다.

제안 방법

• 경사하강법의 동역학을 기반으로 가중치 감소에 대한 새로운 이론적 해석을 제안하며, 학습 중 가중치 노름의 변화와 연결한다.
• 가중치 감소를 배치 크기와 비례해 증가시키는 선형 스케일링 규칙을 도입하여 대용량 배치 학습에서 일반화 성능을 유지한다.
• 학습률에 따라 현재의 가중치 감소를 동적으로 조정하는 Stable Weight Decay (SWD) 스케줄러를 설계한다. 이는 학습 안정성 향상과 일반화 성능 향상에 기여한다.
• 장기 학습 환경에서 발산이나 불량 수렴을 방지하기 위해 가중치 감소를 스케줄링할 이론적 조건을 유도한다.
• 여러 데이터셋과 아키텍처에서의 실험적 검증을 통해 SWD를 L2 정규화 및 분리된 가중치 감소와 비교한다.
• 최적화 경로에서 학습률과 가중치 감소의 상호작용을 분석하여, 안정적인 학습을 위해 이들의 비율을 유지해야 한다는 점을 보여준다.

실험 결과

연구 질문

• RQ1 왜 장기 학습에서 최적의 가중치 감소 값이 0에 수렴하는가? 이 행동은 어떻게 이론적으로 설명될 수 있는가?
• RQ2 특히 장기 학습 및 대용량 배치 환경에서 일반화 성능을 유지하기 위해 가중치 감소는 어떻게 스케줄링되어야 하는가?
• RQ3 배치 크기를 증가시킬 때 가중치 감소의 올바른 스케일링 법칙은 무엇이며, 기존의 학습률 스케일링 규칙과 어떻게 다를까?
• RQ4 학습률 인지 가중치 감소 스케줄러는 실질적으로 기존의 L2 정규화 및 분리된 가중치 감소를 능가할 수 있는가?
• RQ5 가중치 감소와 확률적 경사하강법 중 가중치 노름 변화의 동역학 사이에 이론적 연결은 무엇인가?

주요 결과

• 장기 학습에서 최적의 가중치 감소 값은 0에 수렴하며, 이는 학습 동역학과 시간에 따른 가중치 노름 감소의 관점에서 설명된다.
• 제안된 Stable Weight Decay (SWD) 스케줄러는 다양한 벤치마크와 아키텍처에서 기존의 L2 정규화 및 분리된 가중치 감소보다 일반화 성능을 끊임없이 향상시킨다.
• 가중치 감소를 배치 크기와 비례해 증가시키는 선형 스케일링 규칙은 대용량 미니배치에서 안정적인 학습을 가능하게 하며, 소용량 배치 학습과 비교해 유사한 성능을 유지한다.
• 이론적 분석을 통해 가중치 감소는 학습률과 함께 스케줄링되어야 하며, 이는 효과적 학습률을 유지하고 불안정성을 방지하기 위함임을 밝혔다.
• 실험 결과, ImageNet과 CIFAR-10에서 SWD는 대용량 배치 및 장기 학습 환경에서 베이스라인 방법보다 높은 테스트 정확도를 달성하였다.
• 논문은 가중치 감소가 단순한 사전 분포가 아니라, 스케줄링에 따라 영향을 미치는 동적 정규화 요소임을 입증하였다. 이는 최적화의 안정성과 일반화에 중대한 영향을 미친다.