[논문 리뷰] Adaptive Loss Scaling for Mixed Precision Training

Rongxuan Zhao, Brian Vogel외 1명|arXiv (Cornell University)|2019. 10. 28.

Model Reduction and Neural Networks참고 문헌 19인용 수 6

한 줄 요약

이 논문은 혼합 정밀도 학습 중 기울기 underflow를 방지하기 위해 동적으로 계층별 손실 스케일 값을 계산하는 적응형 손실 스케일링을 제안한다. 수동으로 하이퍼파라미터를 조정할 필요 없이, 기울기 통계에 기반해 각 계층마다 스케일을 자동으로 조정함으로써, 고정된 손실 스케일링 및 일부 경우에서는 FP32 학습보다도 더 빠른 수렴 속도와 높은 정확도를 달성한다. 특히 깊은 모델과 대용량 배치 학습에서 유의미한 성능 향상을 보인다.

ABSTRACT

Mixed precision training (MPT) is becoming a practical technique to improve the speed and energy efficiency of training deep neural networks by leveraging the fast hardware support for IEEE half-precision floating point that is available in existing GPUs. MPT is typically used in combination with a technique called loss scaling, that works by scaling up the loss value up before the start of backpropagation in order to minimize the impact of numerical underflow on training. Unfortunately, existing methods make this loss scale value a hyperparameter that needs to be tuned per-model, and a single scale cannot be adapted to different layers at different training stages. We introduce a loss scaling-based training method called adaptive loss scaling that makes MPT easier and more practical to use, by removing the need to tune a model-specific loss scale hyperparameter. We achieve this by introducing layer-wise loss scale values which are automatically computed during training to deal with underflow more effectively than existing methods. We present experimental results on a variety of networks and tasks that show our approach can shorten the time to convergence and improve accuracy compared to the existing state-of-the-art MPT and single-precision floating point

연구 동기 및 목표

• FP16에서 기울기 underflow로 인한 혼합 정밀도 학습의 불안정성과 열악한 수렴 문제를 해결하기 위해.
• 모델과 학습 단계 간에 고정된 손실 스케일의 수동 하이퍼파라미터 조정이 필요 없도록 하기 위해.
• 계층과 반복 단위로 손실 스케일을 적응적으로 조정함으로써 혼합 정밀도 학습의 사용성과 신뢰성을 향상시키기 위해.
• 정확도와 수렴 속도 측면에서 전체 정밀도(FP32) 학습과 경쟁하거나 그 이상의 성능을 달성하기 위해.
• 고정된 손실 스케일링에 의해 요구되는 수많은 하이퍼파라미터 탐색 라운드를 피함으로써 총 학습 시간을 단축하기 위해.

제안 방법

• 학습 중 활성화 기울기의 분포에 기반해 동적으로 계층별 손실 스케일 값을 계산하는 방법을 도입한다.
• 각 계층에 대해 손실 스케일은 절댓값 기울기 중 (0.01N)-번째로 작은 값의 역수로 계산되며, 여기서 N은 기울기 크기이다. 이는 underflow 비율을 최대 1% 이내로 제한하기 위함이다.
• 학습 단계에 따라 변화하는 기울기 통계에 적응하기 위해 손실 스케일을 주기적으로(예: 100회 반복마다) 업데이트한다.
• 가중치 갱신과 배치 정규화는 FP32를 사용하고, 활성화 및 기울기는 FP16에 저장함으로써 계산 효율성을 유지한다.
• 기울기 크기 통계에 기반해 안전 범위 내에서 손실 스케일을 유지함으로써 오버플로우와 과도한 반올림 오차를 방지한다.
• 구조적 변경 없이 기존 딥러닝 프레임워크에 원활하게 통합된다.

실험 결과

연구 질문

• RQ1 고정된 손실 스케일링 대비 동적이고 계층별로 특화된 손실 스케일링이 혼합 정밀도 학습의 안정성과 수렴에 긍정적인 영향을 미치는가?
• RQ2 적응형 손실 스케일링이 다양한 모델과 데이터셋 간의 수동 하이퍼파라미터 조정 필요성을 줄이는가?
• RQ3 적응형 손실 스케일링이 고정된 손실 스케일링 및 전체 정밀도(FP32) 학습보다 더 높은 모델 정확도를 달성할 수 있는가?
• RQ4 적응형 손실 스케일링은 수많은 하이퍼파라미터 탐색 회수를 요구하는 고정 스케일링 대비 학습 속도와 총 학습 시간에 어떤 영향을 미치는가?
• RQ5 적응형 손실 스케일링이 다양한 계층과 학습 반복 단계에서 기울기 underflow를 어느 정도 완화하는가?

주요 결과

• 배치 크기가 32인 SSD512에서 적응형 손실 스케일링은 mAP 80.31%를 달성하여, FP32 기준선(79.50%)과 고정 손실 스케일링(80.17%)을 모두 뛰어넘었다.
• ResNet-50의 경우 적응형 손실 스케일링은 테스트 정확도 79.24%를 기록하여, 최고의 고정 스케일(79.11%)을 초월했고, 고정 스케일 128에서 관찰된 정확도 저하도 피했다.
• 도식 4(b)에서 보듯이, 깊은 계층에서 특히 스케일을 계층별로 적응적으로 조정함으로써 underflow 비율을 크게 감소시켰다.
• 적응형 스케일링 하에서 기울기의 최대 표준편차는 고정 스케일링 대비 약 20배 낮아져 누적 오차가 감소하고 안정성이 향상되었다.
• 100회 반복 주기로 업데이트할 경우, 손실 스케일 계산의 오버헤드는 총 학습 시간의 0.27%로 줄어들어 효율적이었다.
• 손실 스케일 조정을 위한 수많은 학습 런을 피할 수 있었고, 고정 스케일링에 따른 하이퍼파라미터 탐색을 반복하는 것보다 총 학습 시간이 단축되었다.