[논문 리뷰] Stable Weight Decay Regularization

Zeke Xie, Issei Sato외 1명|arXiv (Cornell University)|2021. 05. 04.

Advanced Neural Network Applications인용 수 17

한 줄 요약

이 논문은 안정적인 가중치 감소(Stable Weight Decay, SWD)를 제안한다. SWD는 모멘텀 기반 최적화기(예: SGD)와 적응형 방법(예: Adam) 모두에서 발생하는 불안정성을 해결하는 동적 접근법이다. 가중치 감소를 일관된 기울기 흐름을 유지하도록 재구성함으로써, 추가적인 초모수 없이도 표준 L2 및 분리된 가중치 감소보다 우수한 성능을 내며, 복잡한 Adam 변종을 능가한다.

ABSTRACT

Weight decay is a popular regularization technique for training of deep neural networks. Modern deep learning libraries mainly use L2 regularization as the default implementation of weight decay. \citet{loshchilov2018decoupled} demonstrated that L2 regularization is not identical to weight decay for adaptive gradient methods, such as Adaptive Momentum Estimation (Adam), and proposed Adam with Decoupled Weight Decay (AdamW). However, we found that the popular implementations of weight decay, including L2 regularization and decoupled weight decay, in modern deep learning libraries usually damage performance. First, the L2 regularization is unstable weight decay for all optimizers that use Momentum, such as stochastic gradient descent (SGD). Second, decoupled weight decay is highly unstable for all adaptive gradient methods. We further propose the Stable Weight Decay (SWD) method to fix the unstable weight decay problem from a dynamical perspective. The proposed SWD method makes significant improvements over L2 regularization and decoupled weight decay in our experiments. Simply fixing weight decay in Adam by SWD, with no extra hyperparameter, can outperform complex Adam variants, which have more hyperparameters.

연구 동기 및 목표

• 딥 러닝 최적화기에서 기존 가중치 감소 구현의 불안정성을 해결하는 것, 특히 모멘텀 기반 및 적응형 방법에 대해.
• 적응 최적화에서 일관된 가중치 감소 역학을 유지하지 못하는 표준 L2 정규화 및 분리된 가중치 감소의 원인을 규명하는 것.
• 다양한 최적화기 전반에 걸쳐 신뢰할 수 있는 정규화를 보장하는 안정적이고 동적 일관성 있는 가중치 감소 메커니즘을 제안하는 것.
• SWD가 추가적인 초모수 없이 일반화 성능과 학습 안정성을 향상시킬 수 있음을 입증하는 것.
• SWD가 복잡한 적응형 최적화기보다 항상 뛰어난 성능을 내는 즉시 사용 가능한 대체 방법임을 확립하는 것.

제안 방법

• 가중치 감소를 동적 시스템 관점에서 재구성하여 다양한 최적화기 간 일관된 감소 행동을 보장하는 것.
• 기울기 업데이트에서 가중치 감소를 분리하면서도 모멘텀 및 적응형 방법에서의 안정성을 유지하는 수정된 업데이트 규칙을 유도하는 것.
• 적응형 학습률 스케일링에 관계없이 일정한 감소 비율을 유지하는 새로운 가중치 감소 업데이트를 도입하는 것.
• 기존 구현에서 모멘텀과 가중치 감소의 상호작용으로 인한 불안정성을 방지하는 새로운 공식화를 확보하는 것.
• 다양한 최적화기에서 기울기 흐름 역학을 이론적으로 분석하여 방법을 검증하는 것.
• 초모수 조정이 필요 없이 딥 러닝 라이브러리에 기존 가중치 감소의 플러그인 대체로 구현하는 것.

실험 결과

연구 질문

• RQ1 기존 가중치 감소 구현이 왜 SGD와 같은 모멘텀 기반 최적화기 및 Adam과 같은 최적화기에서 안정적인 정규화를 제공하지 못하는가?
• RQ2 적응 최적화 하에서 L2 정규화와 분리된 가중치 감소 간 가중치 감소의 동적 행동은 어떻게 다를까?
• RQ3 모든 최적화기에서 안정적이고 일관된 감소 역학을 보장하는 통합된 가중치 감소 공식을 유도할 수 있는가?
• RQ4 안정적인 가중치 감소가 기존 방법 대비 일반화 성능과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 추가 조정 없이도 SWD가 더 많은 초모수를 필요로 하는 복잡한 Adam 변종을 능가하는가?

주요 결과

• 표준 L2 정규화는 SGD와 같은 모든 모멘텀 기반 최적화기에서 일관되지 않은 감소 역학으로 인해 불안정하다.
• 분리된 가중치 감소는 Adam과 같은 적응형 기울기 방법에서 매우 불안정하여 성능 저하를 초래한다.
• 제안된 안정적인 가중치 감소(SWD) 방법은 모든 최적화기에서 일관된 감소 행동을 보장함으로써 이러한 불안정성을 해결한다.
• SWD는 다양한 벤치마크에서 L2 및 분리된 가중치 감소보다 뛰어난 성능을 기록한다.
• Adam의 가중치 감소를 SWD로 단순히 교체하기만 해도, 더 많은 초모수를 필요로 하는 복잡한 Adam 변종보다 뛰어난 성능을 낸다.
• SWD는 안정적이고 신뢰할 수 있으며 즉시 사용 가능한 정규화 방법을 제공하여 일반화 성능과 학습 안정성을 향상시킨다.