[논문 리뷰] AdaS: Adaptive Scheduling of Stochastic Gradients

Mahdi S. Hosseini, Konstantinos N. Plataniotis|arXiv (Cornell University)|2020. 06. 11.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 10

한 줄 요약

AdaS는 확률적 경사 하강법(SGD)을 위한 적응형 학습률 스케줄링 방법을 제안하며, 합성곱 레이어 가중치의 저랭크 분해에서 유도된 '지식 획득'이라는 지표에 기반해 학습률을 동적으로 조정한다. 지식 획득과 레이어 간 조건을 모니터링함으로써, 검증 세트가 없는 조기 정지가 필요 없이도 Adam과 같은 적응형 옵timizer보다 더 빠른 수렴 속도와 뛰어난 일반화 성능을 달성한다.

ABSTRACT

The choice of step-size used in Stochastic Gradient Descent (SGD) optimization is empirically selected in most training procedures. Moreover, the use of scheduled learning techniques such as Step-Decaying, Cyclical-Learning, and Warmup to tune the step-size requires extensive practical experience--offering limited insight into how the parameters update--and is not consistent across applications. This work attempts to answer a question of interest to both researchers and practitioners, namely extit{"how much knowledge is gained in iterative training of deep neural networks?"} Answering this question introduces two useful metrics derived from the singular values of the low-rank factorization of convolution layers in deep neural networks. We introduce the notions of extit{"knowledge gain"} and extit{"mapping condition"} and propose a new algorithm called Adaptive Scheduling (AdaS) that utilizes these derived metrics to adapt the SGD learning rate proportionally to the rate of change in knowledge gain over successive iterations. Experimentation reveals that, using the derived metrics, AdaS exhibits: (a) faster convergence and superior generalization over existing adaptive learning methods; and (b) lack of dependence on a validation set to determine when to stop training. Code is available at \url{https://github.com/mahdihosseini/AdaS}.

연구 동기 및 목표

• 고정 또는 스케줄링된 학습률이 SGD에서 수렴 및 일반화 성능을 떨어뜨리는 데 기인한 한계를 해결하기 위해.
• 개별 합성곱 레이어 내 학습 품질을 측정하는 새로운 지표인 지식 획득과 조건 지표를 도입하기 위해.
• 검증 데이터에 의존하지 않고도 수렴 속도와 일반화 성능을 향상시키는 적응형 학습률 스케줄링 프레임워크를 개발하기 위해.
• 수동 하이퍼파rameter 튜닝에 대한 의존도를 줄이기 위해 자동으로 레이어별로 학습률을 적응시키는 기능을 제공하기 위해.

제안 방법

• 합성곱 레이어 가중치 행렬의 저랭크 분해를 계산하여 특이값을 추출하고, 네트워크 내 정보 축적 속도를 나타내는 '지식 획득' 지표를 유도한다.
• 조정 조건(mapping condition)는 분해에서 가장 큰 특이값과 가장 작은 특이값의 비율로 정의되며, 레이어의 입력-출력 변환 조건을 나타낸다.
• 학습 반복 동안 지식 획득의 변화율에 기반해 학습률을 적응적으로 스케줄링하며, 지식 획득의 증가가 빠를 경우 더 큰 갱신을 보장한다.
• 각 합성곱 블록 별로 독립적인 학습률 스케줄링을 적용하여 레이어별 학습 역학에 세밀하게 적응한다.
• 지식 획득과 조건 지표를 훈련 전반에 걸쳐 모니터링하여 학습률 조정을 안내하고 훈련 종료 조건을 결정한다.
• 모멘터럼을 사용하는 SGD와도 호환되며, Adam과 같은 기존의 적응형 옵timizer와 통합되어 더 높은 안정성을 확보할 수 있다.

실험 결과

연구 질문

• RQ1 딥 네URAL 네트워크의 반복적 훈련 중 획득하는 지식의 양을 어떻게 정량화할 수 있는가?
• RQ2 가중치 변환의 조건(조정 조건)이 일반화 및 수렴에 어떤 역할을 하는가?
• RQ3 지식 획득에 기반한 학습률 스케줄링이 고정 또는 히우리스틱 스케줄링보다 수렴 속도와 테스트 성능을 향상시킬 수 있는가?
• RQ4 내재된 훈련 지표를 사용해 검증 세트가 없는 조기 정지를 가능하게 할 수 있는가?
• RQ5 레이어별 지식 획득에 기반한 적응형 학습률 스케줄링이 다양한 옵timizer에서 일반화에 어떤 영향을 미치는가?

주요 결과

• AdaS는 ResNet-18을 사용해 CIFAR-10에서 테스트 정확도 95.16%를 달성했으며, Adam(93.22%)과 주기적 학습률을 사용하는 SGD(94.13%)를 모두 초월했다.
• AdaS는 훈련 손실을 8.69e-4로 낮추었으며, 이는 Adam(5.66e-3)과 RMSProp(6.35e-3)보다 유의미하게 낮아 더 빠른 수렴을 의미한다.
• AdaS에서 지식 획득은 β=0.95일 때 0.2938에 도달했으며, Adam(0.2973)과 RMSProp(0.3011)보다 높은 정보 축적 수준을 보여 더 효과적인 학습을 의미한다.
• AdaS의 조건 지표 κ는 모든 설정에서 9 이하를 유지했으며, Adam의 18.484보다 더 나은 조건을 가진 레이어 변환을 의미하며, 이는 향상된 일반화와 관련이 있다.
• AdaS는 검증 세트가 없이도 뛰어난 일반화 성능을 달성했으며, 훈련 손실을 직접 사용해 유도된 지표에 기반해 훈련 종료를 결정했다.
• 메서드는 초기 학습률 선택에 대해 강건하며, Adam과 같은 적응형 옵timizer와 조합해 성능 향상을 추가로 달성할 수 있다.