[논문 리뷰] SWALP : Stochastic Weight Averaging in Low-Precision Training

Guandao Yang, Tianyi Zhang외 4명|arXiv (Cornell University)|2019. 04. 26.

Machine Learning and Algorithms인용 수 23

한 줄 요약

SWALP는 저해상도 훈련을 위한 수정된 학습률 스케줄을 갖춘 확률적 가중치 평균화(SWA)를 제안하여, 모든 모델 가중치, 기울기, 최적화기 상태를 8비트 고정소수점 정밀도로 양자화할 수 있도록 한다. 이 방법은 VGG-16과 PreResNet-164를 사용해 CIFAR-10 및 CIFAR-100에서 전기정밀도 SGD 성능을 달성하며, 이중 목적 함수에 대해 최적의 해로 수렴하고 강력한 볼록 설정에서 저해상도 SGD보다 더 작은 노이즈 영역으로 수렴하는 것으로 이론적으로 입증된다.

ABSTRACT

Low precision operations can provide scalability, memory savings, portability, and energy efficiency. This paper proposes SWALP, an approach to low precision training that averages low-precision SGD iterates with a modified learning rate schedule. SWALP is easy to implement and can match the performance of full-precision SGD even with all numbers quantized down to 8 bits, including the gradient accumulators. Additionally, we show that SWALP converges arbitrarily close to the optimal solution for quadratic objectives, and to a noise ball asymptotically smaller than low precision SGD in strongly convex settings.

연구 동기 및 목표

• 딥러닝에서 저해상도 훈련과 전기정밀도 훈련 간의 성능 격차를 해소하기 위해.
• 모델 파라미터, 기울기 누적기, 최적화기 상태를 포함한 모든 훈련 구성 요소에 대해 종단간 8비트 양자화를 가능하게 하기 위해.
• 저해상도 훈련에서 일반화 및 강인성을 향상시키기 위해 확률적 가중치 평균화(SWA)를 활용하기 위해.
• 이차 목적 함수 및 강력한 볼록 목적 함수 하에서 SWA를 적용한 저해상도 훈련의 수렴 성질을 이론적으로 분석하기 위해.
• 8비트 SWALP가 표준 비전 벤치마크에서 전기정밀도 SGD 성능을 그대로 유지하는지 경험적으로 검증하기 위해.

제안 방법

• SWALP는 수정된 학습률 스케줄을 갖춘 저해상도 확률적 경사하강법(SGD)에 대해 확률적 가중치 평균화(SWA)를 적용한다.
• 모든 모델 파rameter, 기울기, 최적화기 상태(예: 모멘텀)가 8비트 고정소수점 정밀도로 양자화된다.
• 이 방법은 이중 단계 훈련 스케줄을 사용한다: 감소하는 학습률로 시작하는 초기 훈련 단계, 그 다음 상수이지만 낮은 학습률로 유지되는 SWA 평균화 단계.
• 평균화는 사전 정의된 훈련 에포크 수 이후 매 에포크마다 수행된다(빈도 c=1).
• 최종 모델은 SWA 단계 동안 수집된 마지막 몇 개의 모델 가중치 평균이다.
• 이론적 분석을 통해 SWALP가 이차 목적 함수에 대해 최적의 해로 수렴하고, 강력한 볼록 설정에서 저해상도 SGD보다 더 작은 점점 줄어드는 노이즈 영역으로 수렴하는 것으로 입증된다.

실험 결과

연구 질문

• RQ1 모든 구성 요소가 8비트로 양자화된 상황에서, 확률적 가중치 평균화(SWA)가 저해상도 훈련에서의 성능 저하를 효과적으로 완화할 수 있는가?
• RQ2 8비트 양자화 하에서, SWALP가 이차 목적 함수에 대해 최적의 해로 수렴하는가?
• RQ3 강력한 볼록 최적화 문제에서, SWALP가 표준 저해상도 SGD보다 더 작은 점점 줄어드는 노이즈 영역으로 수렴하는가?
• RQ4 SWALP는 CIFAR-10 및 CIFAR-100과 같은 표준 비전 벤치마크에서 전기정밀도 SGD의 일반화 성능을 재현할 수 있는가?
• RQ5 학습률 스케줄과 평균화 빈도의 선택이 저해상도 환경에서 SWALP의 성능에 어떤 영향을 미치는가?

주요 결과

• PreResNet-164를 사용해 CIFAR-100에서 SWALP는 27.11%의 테스트 오차를 기록하여 전기정밀도 SGD 기준선과 동일한 성능을 달성한다.
• CIFAR-10에서 VGG-16을 사용한 경우, SWALP는 2.83%의 테스트 오차를 기록하여 전기정밀도 기준선과 동일한 성능을 달성한다.
• MNIST에서의 로지스틱 회귀 문제에서 8비트 SWALP는 7.34%의 테스트 오차를 기록하며, 전기정밀도 SGD(7.35%)와 유사한 성능을 보였다.
• 이론적 분석 결과, 8비트 양자화 하에서 SWALP가 이차 목적 함수에 대해 최적의 해로 수렴하는 것으로 입증되었다.
• 강력한 볼록 목적 함수에 대해, SWALP는 저해상도 SGD보다 더 작은 점점 줄어드는 노이즈 영역으로 수렴한다.
• SWALP는 평균값을 8비트 블록 부동소수점으로 양자화해도 성능을 유지하며, 테스트 오차가 0.2%만 증가한다.