[논문 리뷰] SALR: Sharpness-aware Learning Rates for Improved Generalization

Xubo Yue, Maher Nouiehed외 1명|arXiv (Cornell University)|2021. 05. 04.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 8

한 줄 요약

SALR는 지역적 손실 함수의 날카움 정도를 기반으로 학습률을 동적으로 조정하는 날카움 인식 학습률 적응 방법을 도입하여, 날카로운 국소 최소값을 벗어나 평탄하고 일반화 성능이 뛰어난 해로 수렴하도록 한다. 다양한 네트워크와 최적화 알고리즘에서 평가된 결과, SALR는 일반화 성능을 향상시키고 수렴 속도를 빠르게 하며 손실 곡면의 더 평탄한 영역으로 모델을 이끌어낸다.

ABSTRACT

In an effort to improve generalization in deep learning, we propose SALR: a sharpness-aware learning rate update technique designed to recover flat minimizers. Our method dynamically updates the learning rate of gradient-based optimizers based on the local sharpness of the loss function. This allows optimizers to automatically increase learning rates at sharp valleys to increase the chance of escaping them. We demonstrate the effectiveness of SALR when adopted by various algorithms over a broad range of networks. Our experiments indicate that SALR improves generalization, converges faster, and drives solutions to significantly flatter regions.

연구 동기 및 목표

• 나쁜 일반화 성능을 초래하는 날카로운 국소 최소값 문제를 해결함으로써 딥 러닝의 일반화 성능을 향상시키는 것.
• 학습 중 현재 파라미터 주변의 손실 곡면의 날카움 정도에 반응하는 동적 학습률 적응 메커니즘을 개발하는 것.
• 특히 날카로운 골짜기 영역에서 학습률을 증가시켜 기존 기반 최적화 알고리즘이 날카로운 골짜기를 더 효과적으로 벗어나도록 돕는 것.
• 제안된 방법이 다양한 신경망 아키텍처와 최적화 알고리즘에 걸쳐 효과적임을 입증하는 것.
• 일반화 성능이 뛰어난 것으로 알려진 더 평탄한 손실 곡면 영역으로 모델을 이끌어내는 것.

제안 방법

• SALR는 현재 파라미터 주변의 손실 함수의 국소 날카움 정도에 기반해 학습률을 동적으로 수정한다.
• 이 방법은 높은 손실 곡률(날카로운 골짜기) 영역에서 학습률을 증가시키는 날카움 인식 업데이트를 수행한다.
• 기존 기반 최적화 알고리즘과 통합하기 위해 날카움 인식 성분을 사용해 학습률 스케줄을 수정한다.
• 지금 파라미터 위치에서의 곡률를 평가하기 위해 국소 헤시안 근사 또는 유사 측정을 사용해 날카움 정도를 추정한다.
• 업데이트된 학습률은 날카로운 영역에서 더 큰 스텝을 유도하여 나쁜 국소 최소값에서 벗어나기 위한 확률을 높인다.
• 표준 최적화 프레임워크와의 호환성을 고려해 설계되었으며, 최소한의 하이퍼파라미터 조정만 필요로 한다.

실험 결과

연구 질문

• RQ1 지역적 손실의 날카움 정도에 기반한 동적 학습률 적응이 딥 신경망의 일반화 성능 향상에 기여하는가?
• RQ2 SALR는 다양한 아키텍처와 최적화 알고리즘에서 수렴 속도와 최종 일반화 성능에 어떤 영향을 미치는가?
• RQ3 SALR는 손실 곡면의 어느 정도까지 더 평탄한 영역으로 모델을 이끌어내는가?
• RQ4 날카움 인식 학습률 업데이트가 학습 과정에서 날카로운 국소 최소값을 효과적으로 벗어나도록 돕는가?
• RQ5 일반화 성능 및 최적화 역학 측면에서, 고정 또는 적응형 학습률 스케줄에 비해 SALR는 어떤가?

주요 결과

• SALR는 다양한 기반 기반 최적화 알고리즘과 통합되었을 때 다양한 신경망 아키텍처에서 일반화 성능을 향상시킨다.
• 높은 곡률 영역에서 학습률을 증가시킴으로써 날카로운 국소 최소값에서 더 빠르게 벗어나게 하여 수렴 속도를 가속화한다.
• SALR로 훈련된 모델은 일반화 성능이 뛰어난 것으로 알려진 더 평탄한 손실 곡면 영역으로 일관되게 수렴한다.
• 추가 하이퍼파라미터나 아키텍처 변경 없이도 일반화 성능 향상 효과가 관찰된다.
• 특히 날카로운 골짜기에서 국소 기하학적 특성에 민감한 학습률 조정을 통해 최적화 역학을 향상시킨다.
• 실험 결과, 기존 훈련 파이프라인에 최소한의 수정만으로도 SALR는 표준 훈련 프로토콜에 비해 더 평탄한 해를 도출하는 것으로 나타났다.