[논문 리뷰] At Stability's Edge: How to Adjust Hyperparameters to Preserve Minima Selection in Asynchronous Training of Neural Networks?

Niv Giladi, Mor Shpigel Nacson외 2명|arXiv (Cornell University)|2020. 04. 30.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 5

한 줄 요약

이 논문은 훈련 지연에 대응하여 학습률과 모멘타를 조정함으로써 异상(stochastic) 경사 하강법(ASGD)에서 국소 최소값 선택을 유지하기 위한 이론적 프레임워크를 제안한다. 고지연 상황에서 학습률이 지연과 반비례해야만 동일한 최소값 집합에 접근할 수 있음을 보여주는 폐쇄형 규칙를 유도하며, 안정성을 위해 모멘타를 비활성화하거나 수정할 것을 권고한다.

ABSTRACT

Background: Recent developments have made it possible to accelerate neural networks training significantly using large batch sizes and data parallelism. Training in an asynchronous fashion, where delay occurs, can make training even more scalable. However, asynchronous training has its pitfalls, mainly a degradation in generalization, even after convergence of the algorithm. This gap remains not well understood, as theoretical analysis so far mainly focused on the convergence rate of asynchronous methods. Contributions: We examine asynchronous training from the perspective of dynamical stability. We find that the degree of delay interacts with the learning rate, to change the set of minima accessible by an asynchronous stochastic gradient descent algorithm. We derive closed-form rules on how the learning rate could be changed, while keeping the accessible set the same. Specifically, for high delay values, we find that the learning rate should be kept inversely proportional to the delay. We then extend this analysis to include momentum. We find momentum should be either turned off, or modified to improve training stability. We provide empirical experiments to validate our theoretical findings.

연구 동기 및 목표

• 비동기 훈련이 수렴함에도 불구하고 일반화 성능이 열악해지는 이유를 이해한다.
• 지연과 학습률이 함께 ASGD가 접근할 수 있는 최소값 집합에 어떤 영향을 미치는지 조사한다.
• 다양한 지연 조건에서 동일한 최소값 선택을 유지하기 위한 이론적 규칙을 개발한다.
• 모멘타를 포함한 분석을 확장하여 이방성 환경에서의 훈련 안정성에 미치는 영향을 규명한다.

제안 방법

• 지연이 경사 갱신에 미치는 영향를 모델링함으로써, 비동기 훈련을 역학적 안정성의 관점에서 분석한다.
• 학습률이 지연과 반비례해야만 접근 가능한 최소값 집합을 유지할 수 있음을 보여주는 폐쇄형 관계를 도출한다.
• 모멘타를 포함한 분석을 확장하여, 모멘타가 훈련을 불안정하게 만들 수 있는 조건을 규명한다.
• 고지연 조건에서의 안정성을 향상시키기 위해 수정된 모멘타 스케줄링 또는 비활성화를 제안한다.
• 다양한 지연 및 학습률 설정에서 신경망 훈련을 수행한 실험을 통해 이론적 예측을 검증한다.

실험 결과

연구 질문

• RQ1 이방성 훈련에서의 지연은 확률적 경사 하강법이 접근할 수 있는 최소값 집합에 어떤 영향을 미치는가?
• RQ2 증가하는 지연 조건 하에서 동일한 최소값 선택을 유지하기 위한 학습률 조정 규칙은 무엇인가?
• RQ3 모멘타는 이방성 환경에서 훈련 안정성에 어떤 영향을 미치며, 언제 수정하거나 비활성화해야 하는가?
• RQ4 지연과 학습률 스케일링에 대한 이론적 예측은 신경망 훈련에서 실증적으로 검증될 수 있는가?

주요 결과

• 이방성 훈련에서 동일한 접근 가능한 최소값 집합을 유지하기 위해 학습률은 지연과 반비례해야 한다.
• 고지연 값에서는 학습률과 지연 간의 반비례 관계를 유지함으로써 안정적인 최소값 선택이 보장된다.
• 고지연 이방성 훈련에서 불안정성을 방지하기 위해 모멘타는 비활성화하거나 수정해야 한다.
• 실증 결과는 제안된 학습률 스케일링 규칙이 다양한 지연 수준에서도 일반화 성능을 유지함을 확인한다.