[논문 리뷰] kDecay: Just adding k-decay items on Learning-Rate Schedule to improve Neural Networks

Tao Zhang, Wei Li|arXiv (Cornell University)|2020. 04. 13.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 학습률(LR) 함수의 k차 미분을 활용해 LR 스케줄을 수정함으로써 딥 네럴 네트워크 학습을 향상시키는 간단하면서도 효과적인 방법인 k-decay를 제안한다. k-decay 항을 추가함으로써 학습 후반 단계에서 LR의 변화율을 증가시켜 추가적인 계산 비용 없이도 모델 정확도를 향상시키며, CIFAR-100에서는 최대 2.07%의 정확도 향상을, ImageNet에서는 1.25%의 정확도 향상을 달성한다.

ABSTRACT

Recent work has shown that optimizing the Learning Rate (LR) schedule can be a very accurate and efficient way to train deep neural networks. We observe that the rate of change (ROC) of LR has correlation with the training process, but how to use this relationship to control the training to achieve the purpose of improving accuracy? We propose a new method, k-decay, just add an extra item to the commonly used and easy LR schedule(exp, cosine and polynomial), is effectively improves the performance of these schedule, also better than the state-of-the-art algorithms of LR shcedule such as SGDR, CLR and AutoLRS. In the k-decay, by adjusting the hyper-parameter \(k\), to generate different LR schedule, when k increases, the performance is improved. We evaluate the k-decay method on CIFAR And ImageNet datasets with different neural networks (ResNet, Wide ResNet). Our experiments show that this method can improve on most of them. The accuracy has been improved by 1.08\% on the CIFAR-10 dataset and by 2.07 \% on the CIFAR-100 dataset. On the ImageNet, accuracy is improved by 1.25\%. Our method is not only a general method to be applied other LR Shcedule, but also has no additional computational cost.

연구 동기 및 목표

• 표준 감쇠 방법을 넘어서 학습률(LR) 스케줄을 재고함으로써 딥 네럴 네트워크 성능을 향상시키기.
• LR의 변화율(ROC)이 학습 동역학과 모델 정확도와 어떻게 관련되어 있는지 조사하기.
• 기존 LR 스케줄을 변경하지 않고도 일반적이고 저비용으로 성능을 향상시킬 수 있는 방법 개발하기.
• 고차 미분을 통한 LR의 ROC 제어가 다양한 데이터셋과 아키텍처에서 일관된 성능 향상을 이끌어내는지 증명하기.

제안 방법

• 기본 LR 스케줄 함수 η(t)의 k차 미분을 수정함으로써 k-decay 항을 도입하며, η^(k)(t)에 증분 Δf^(k)(t)를 추가한다.
• 수정된 k차 미분 방정식을 풀어 새로운 LR 스케줄 η'(t) = η_o(k,t)를 유도한다. 이는 하이퍼파rameter k에 의존한다.
• 다양한 표준 LR 스케줄(예: 다항식, 코시, 지수 감쇠)에 추가 항으로 적용하여 핵심 구조를 변경하지 않고 성능을 향상시킨다.
• 하이퍼파rameter k는 LR의 변화율(ROC)을 제어한다: k를 증가시킬수록 학습 후반 단계에서 LR의 변화율이 증가하여 수렴 속도가 빨라진다.
• 수학적으로 미적분학에 기반한 방법으로, 수정된 k차 미분의 해석적 적분을 통해 k-decay 항을 유도한다.
• 계산 효율성이 뛰어나 추가적인 순방향 또는 역방향 전파가 필요 없으며, 기존 모든 LR 스케줄에 적용 가능하다.

실험 결과

연구 질문

• RQ1 학습 후반 단계에서 학습률의 변화율(ROC)이 모델 학습 성능과 어떻게 관련되어 있는가?
• RQ2 고차 미분을 통한 LR의 ROC 향상이 다양한 데이터셋과 아키텍처에서 일관된 정확도 향상을 이끌 수 있는가?
• RQ3 하이퍼파rameter k는 k-decay 방법의 성능에 어떤 영향을 미치며, 다양한 모델에서 최적의 범위는 무엇인가?
• RQ4 k-decay는 다항식, 코시, 지수 감쇠 등 다양한 기존 LR 스케줄에 일반화될 수 있는가? 추가 계산 비용 없이?
• RQ5 k-decay는 SGDR, CLR, AutoLRS와 같은 최신 적응형 LR 스케줄링 방법보다 정확도와 학습 안정성 측면에서 뛰어나다고 할 수 있는가?

주요 결과

• ResNet-50를 사용한 ImageNet에서 k-decay는 top-1 정확도를 1.25% 향상시켰으며, SGDR, AutoLRS, CLR보다 각각 1.03%, 0.96%, 0.95% 높은 성능을 기록했다.
• CIFAR-100에서는 기준 다항식 스케줄 대비 2.07%의 정확도 향상을 기록했으며, k=2.0일 때 top-1 오류율은 23.11%였다.
• CIFAR-10에서는 기준 다항식 스케줄 대비 1.08%의 정확도 향상을 기록하여 다양한 데이터셋에서 일관된 성능 향상을 입증했다.
• 시험 오류율은 k가 증가함에 따라 임계값 k_v까지 감소하지만, 이를 초과하면 성능이 악화되며, 이는 모델에 따라 k에 대한 민감도를 시사한다.
• 더 깊은 모델(예: ResNet-101)은 얕은 모델(예: ResNet-47, k_v≈7)보다 낮은 k_v 임계값(3)을 가지며, 고차 k 값에 더 민감한 것으로 나타났다.
• 손실 곡선 분석 결과, 높은 k 값은 초기 단계에서는 수렴 속도를 느리게 하지만, 후반 단계에서 더 급격한 LR 감쇠로 인해 더 빠른 최종 수렴을 이끌어내며, 낮은 최종 손실과 더 나은 일반화 성능을 달성한다.