[논문 리뷰] DNN's Sharpest Directions Along the SGD Trajectory.

Stanisław Jastrzȩbski, Zachary Kenton외 4명|arXiv (Cornell University)|2018. 07. 13.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 DNN 학습 중 확률적 경사 하강법(SGD) 경로에서 가장 날카롭게 굽은 방향의 역할을 조사한다. 연구 결과, SGD는 곡률에 비해 큰 스텝를 취함에 따라 초기에 점점 더 날카로운 영역으로 이동하며, 이러한 방향에서 학습률을 줄이면 학습 속도가 빨라지고 표준 SGD보다 더 날카롭고 일반화 성능이 뛰어난 모델을 얻을 수 있음을 밝혀냈다.

ABSTRACT

Stochastic Gradient Descent (SGD) based training of neural networks with a large learning rate or a small batch-size typically ends in well-generalizing, flat regions of the weight space, as indicated by small eigenvalues of the Hessian of the training loss. However, the curvature along the SGD trajectory is poorly understood. An empirical investigation shows that initially SGD visits increasingly sharp regions, reaching a maximum sharpness determined by both the learning rate and the batch-size of SGD. When studying the SGD dynamics in relation to the sharpest directions in this initial phase, we find that the SGD step is large compared to the curvature and commonly fails to minimize the loss along the sharpest directions. Furthermore, using a reduced learning rate along these directions can improve training speed while leading to both sharper and better generalizing solutions compared to vanilla SGD. In summary, our analysis of the dynamics of SGD in the subspace of the sharpest directions shows that they influence the regions that SGD steers to (where larger learning rate or smaller batch size result in wider regions visited), the overall training speed, and the generalization ability of the final model.

연구 동기 및 목표

• 손실 함수의 가중치 공간에서 가장 날카로운 방향의 곡률이 SGD 경로와 모델 일반화에 미치는 영향을 이해한다.
• 큰 학습률이나 작은 배치 크기가 초기에 날카로운 영역으로 이동함에도 불구하고 더 평탄하고 일반화 성능이 뛰어난 해를 도출하는 이유를 조사한다.
• 가장 날카로운 방향에서 학습률을 적응적으로 조정하는 것이 학습 효율성과 모델 성능 향상에 기여하는지 탐색한다.
• SGD 스텝 크기, 배치 크기, 학습률과 가중치 공간에서 방문하는 영역의 날카기 정도 사이의 관계를 규명한다.

제안 방법

• 학습 중 SGD 경로를 따라 헤시안 행렬의 최대 고유값(날카기 정도)의 변화를 실증적으로 추적한다.
• 헤시안 행렬의 최대 고유값에 대응하는 고유벡터를 사용하여 가중치 공간에서 가장 날카로운 방향을 식별한다.
• 가장 날카로운 방향에서의 SGD 업데이트 크기와 곡률 간의 불일치를 분석하여, 스텝 크기와 국소 기하학 간의 불일치를 밝혀낸다.
• 특히 가장 날카로운 방향에서 학습률을 낮춘 수정된 학습 전략을 구현한다.
• 표준 SGD와 비교하여 학습 속도, 최종 손실, 날카기 정도, 일반화 성능을 분석한다.

실험 결과

연구 질문

• RQ1 학습 중 SGD 경로를 따라 손실 함수의 날카기 정도는 어떻게 변화하는가?
• RQ2 큰 학습률이나 작은 배치 크기가 초기에 날카로운 영역로 이동함에도 불구하고 일반화 성능이 향상되는 이유는 무엇인가?
• RQ3 SGD 업데이트 크기가 가장 날카로운 방향에서 곡률보다 얼마나 큰가, 그 결과는 무엇인가?
• RQ4 가장 날카로운 방향에서 학습률을 줄이는 것이 학습 속도와 일반화 성능 향상에 기여하는가?
• RQ5 가장 날카로운 방향은 SGD가 수렴하는 최종 가중치 공간 영역에 어떻게 영향을 미치는가?

주요 결과

• SGD는 초기에 학습률과 배치 크기에 의해 결정되는 최대 날카기 정도에 도달하는 방향으로 이동한다.
• 가장 날카로운 방향에서 SGD 업데이트 스텝가 국소 곡률보다 훨씬 클 수 있으며, 이는 해당 방향에서 비효율적인 최소화를 초래한다.
• 특히 가장 날카로운 방향에서 학습률을 줄이면 표준 SGD보다 더 빠른 수렴 속도를 얻을 수 있다.
• 수정된 학습 전략은 단지 더 날카로운 모델을 생성하는 것뿐만 아니라, 표준 SGD로 학습한 모델보다 일반화 성능이 뛰어나다.
• 큰 학습률이나 작은 배치 크기는 SGD가 더 넓고 평탄한 손실 함수 영역을 방문하게 하지만, 초기 경로는 날카기 정도가 증가하는 데 의해 지배된다.
• 가장 날카로운 방향은 표준 SGD가 잘 최소화하지 못함에도 불구하고 최종 모델의 일반화 능력과 경로의 동역학에 크게 영향을 미친다.