[논문 리뷰] On the Relation Between the Sharpest Directions of DNN Loss and the SGD Step Length

Stanisław Jastrzȩbski, Zachary Kenton외 4명|arXiv (Cornell University)|2018. 07. 13.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 28

한 줄 요약

이 논문은 딥 네URAL 네트워크(DNN) 손실 표면의 예측 가능한 최대 헤시안 고유값에 의해 정의되는 가장 날카로운 방향과 확률적 경사 하강법(SGD)의 동역학 간 상호작용을 조사한다. 연구에서는 초기 단계에서 곡률 대비 큰 스텝 크기를 가진 SGD가 점점 더 날카로운 영역으로 이동함을 보이며, 이러한 방향에서 학습률을 감소시키는 변형인 NSGD를 제안한다. 이는 동일한 학습률을 사용할 때 표준 SGD보다 학습 속도를 높이고 더 날카롭고 일반화 성능이 뛰어난 해를 도출한다.

ABSTRACT

Stochastic Gradient Descent (SGD) based training of neural networks with a large learning rate or a small batch-size typically ends in well-generalizing, flat regions of the weight space, as indicated by small eigenvalues of the Hessian of the training loss. However, the curvature along the SGD trajectory is poorly understood. An empirical investigation shows that initially SGD visits increasingly sharp regions, reaching a maximum sharpness determined by both the learning rate and the batch-size of SGD. When studying the SGD dynamics in relation to the sharpest directions in this initial phase, we find that the SGD step is large compared to the curvature and commonly fails to minimize the loss along the sharpest directions. Furthermore, using a reduced learning rate along these directions can improve training speed while leading to both sharper and better generalizing solutions compared to vanilla SGD. In summary, our analysis of the dynamics of SGD in the subspace of the sharpest directions shows that they influence the regions that SGD steers to (where larger learning rate or smaller batch size result in wider regions visited), the overall training speed, and the generalization ability of the final model.

연구 동기 및 목표

• DNN 손실 표면의 가장 날카로운 방향에서의 SGD 동역학이 일반화와 최적화 경로에 미치는 영향을 이해한다.
• 큰 학습률이나 작은 배치 크기로 인해 더 나은 일반화가 이루어지지만 날카로운 영역으로 이동한다는 점에서 그 이유를 조사한다.
• 학습 중 가장 날카로운 방향에서의 SGD 스텝 크기와 곡률 간의 불일치를 분석한다.
• 가장 날카로운 방향에서 학습률을 적응적으로 조정하면 학습 효율성과 일반화 성능 향상에 기여할 수 있는지 탐색한다.
• 수렴 단계 뿐 아니라 전체 학습 경로 동안 최상위 헤시안 고유값의 변화를 특성화한다.

제안 방법

• 학습 손실의 헤시안 최상위 고유값과 고유벡터를 학습 전반에 걸쳐 경험적 추정을 통해 추적한다.
• SGD 업데이트를 가장 날카로운 방향을 생성하는 고유벡터들이 생성하는 부분공간에 투영하여 스텝 정렬과 곡률 불일치를 분석한다.
• 특히 가장 날카로운 방향에서 고정된 작은 학습률을 적용하는 수정된 SGD 버전인 NSGD를 도입한다.
• 기본 학습률을 동일하게 유지한 상태에서 NSGD와 표준 SGD를 비교하여 수렴 속도와 최종 일반화 성능를 평가한다.
• 다양한 설정에서 결과를 검증하기 위해 ResNet-32, SimpleCNN 등의 다양한 아키텍처와 데이터셋을 사용한다.
• 헤시안 스펙트럼을 경험적으로 관찰하여 학습률, 배치 크기, 손실 표면의 최대 날카로움 간의 관계를 분석한다.

실험 결과

연구 질문

• RQ1 DNN 손실 표면의 가장 날카로운 방향에서 곡률은 SGD 학습 중 어떻게 변화하는가?
• RQ2 SGD 스텝 크기가 가장 날카로운 방향에서 곡률과 얼마나 불일치하는가? 이는 최적화에 어떤 영향을 미치는가?
• RQ3 학습률과 배치 크기가 가장 날카로운 방향에서 도달하는 최대 날카로움에 어떤 영향을 미치는가?
• RQ4 특히 가장 날카로운 방향에서 학습률을 줄이면 학습 속도와 일반화 성능 향상에 기여할 수 있는가?
• RQ5 SGD가 가장 날카로운 부분공간에서의 동역학은 최종 손실 표면의 방문 영역에 어떤 영향을 미치는가?

주요 결과

• SGD는 초기에 학습률과 배치 크기에 따라 결정되는 피크 날카로움을 가지는 점점 더 날카로운 영역으로 이동한다.
• 가장 날카로운 방향에서의 곡률 대비 SGD 스텝 크기가 일반적으로 너무 크기 때문에 최소값을 뛰어넘고 그들 사이를 진동한다.
• 헤시안의 최상위 고유값은 학습 초반에 증가하다가 피크에 도달한 후 안정화되거나 감소하며, 피크 크기는 학습률과 배치 크기에 영향을 받는다.
• 가장 날카로운 방향에서 학습률을 감소시킨 NSGD는 동일한 기본 학습률을 사용한 표준 SGD보다 더 빠르게 최적화된다.
• NSGD는 표준 SGD보다 더 날카로운 영역으로 수렴하지만, 일반화 성능을 유지하거나 향상시킨다.
• 가장 날카로운 방향에서의 동역학은 SGD가 방문하는 영역, 학습 속도, 최종 일반화 능력에 크게 영향을 미친다.