[논문 리뷰] Multi-Precision Policy Enforced Training (MuPPET): A precision-switching strategy for quantised fixed-point training of CNNs

Aditya Rajagopal, Diederik Adriaan Vink외 2명|arXiv (Cornell University)|2020. 06. 16.

Neural Networks and Applications인용 수 8

한 줄 요약

MuPPET는 CNN의 정수형 양자화 학습을 위한 동적 정밀도 전환 전략을 제안하며, 여러 정밀도 수준(낮은 비트 정수형 포함)과 런타임 정책을 활용하여 정확도를 훼손하지 않으면서 학습 속도와 에너지 효율을 최적화합니다. NVIDIA Turing GPU 하드웨어에서 ImageNet에서 전기형 학습 대비 최대 1.84배의 속도 향상을 달성하면서 AlexNet, ResNet18, GoogLeNet에서 최신 기준 정확도를 유지합니다.

ABSTRACT

Large-scale convolutional neural networks (CNNs) suffer from very long training times, spanning from hours to weeks, limiting the productivity and experimentation of deep learning practitioners. As networks grow in size and complexity, training time can be reduced through low-precision data representations and computations. However, in doing so the final accuracy suffers due to the problem of vanishing gradients. Existing state-of-the-art methods combat this issue by means of a mixed-precision approach utilising two different precision levels, FP32 (32-bit floating-point) and FP16/FP8 (16-/8-bit floating-point), leveraging the hardware support of recent GPU architectures for FP16 operations to obtain performance gains. This work pushes the boundary of quantised training by employing a multilevel optimisation approach that utilises multiple precisions including low-precision fixed-point representations. The novel training strategy, MuPPET, combines the use of multiple number representation regimes together with a precision-switching mechanism that decides at run time the transition point between precision regimes. Overall, the proposed strategy tailors the training process to the hardware-level capabilities of the target hardware architecture and yields improvements in training time and energy efficiency compared to state-of-the-art approaches. Applying MuPPET on the training of AlexNet, ResNet18 and GoogLeNet on ImageNet (ILSVRC12) and targeting an NVIDIA Turing GPU, MuPPET achieves the same accuracy as standard full-precision training with training-time speedup of up to 1.84$ imes$ and an average speedup of 1.58$ imes$ across the networks.

연구 동기 및 목표

• 대규모 CNN의 장기적인 학습 시간 문제를 해결하여 딥러닝의 생산성과 실험 가능성을 높이기 위해.
• 양자화 학습에서 기인하는 정밀도 저하, 특히 정규화 기반 기울기 소실 현상으로 인한 정확도 저하 문제를 해결하기 위해.
• 현대 하드웨어에서 지원하는 저정밀도 산술 연산(FP16, INT8, INT4 등)을 활용하여 최종 모델 정확도를 훼손하지 않으면서 학습 속도를 가속화하기 위해.
• 학습 시간과 정확도 간의 상호보완적 관계를 최적화하기 위해 네트워크 및 데이터셋 특성에 맞게 적응하는 런타임 정밀도 전환 정책을 개발하기 위해.
• 두 수준의 정밀도 접근 방식을 넘어서 다양한 정수형 및 부동소수점 영역에서 다중 정밀도 최적화를 가능하게 하기 위해.

제안 방법

• 학습 중에 여러 정수형 및 부동소수점 정밀도 수준 간에 동적으로 전환할 수 있는 다중 정밀도 학습 프레임워크를 도입하기 위해.
• 에포크 간 기울기 다양성 기반 메트릭을 사용하여 정밀도 영역 간 최적의 전환 지점을 결정하는 정밀도 전환 정책을 설계하기 위해.
• 시간 제약 조건 하에서 전환 지점을 선정하기 위해 학습 시간을 추정하는 성능 모델을 사용하기 위해.
• NVIDIA Turing GPU 하드웨어 기반으로 ImageNet 및 CIFAR-100에서 표준 CNN(AlexNet, ResNet18, GoogLeNet)에 대해 하드웨어 인식 스케줄링을 적용하기 위해.
• 학습 중에만 정밀도를 전환하고 추론 시에는 전기형 정밀도를 유지함으로써 전기형 추론 호환성을 확보하기 위해.
• 정책이 네트워크 아키텍처와 데이터셋에 종속되지 않도록 하여 다양한 모델-데이터셋 조합으로의 일반화를 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 정밀도 전환 전략을 통해 정확도를 훼손하지 않으면서 양자화 CNN 학습의 속도와 에너지 효율을 향상시킬 수 있는가?
• RQ2 런타임 정밀도 적응 기반의 다중 정밀도 학습은 고정 정밀도 또는 이중 정밀도 접근 방식에 비해 정확도와 속도 향상 측면에서 어떻게 비교되는가?
• RQ3 제안된 정책이 ImageNet 및 CIFAR-100과 같은 다양한 CNN 아키텍처와 데이터셋에 대해 얼마나 잘 일반화되는가?
• RQ4 정확도를 유지하면서 최대의 속도 향상을 달성하기 위해 학습 중에 저정밀도에서 고정밀도로 전환하는 최적의 시점은 언제인가?
• RQ5 프레임워크는 현대 하드웨어에서 지원하는 저정밀도 연산(FP16, INT8 등)을 효과적으로 활용하여 GPU 및 TPU에서의 학습 속도를 가속화할 수 있는가?

주요 결과

• MuPPET는 GoogLeNet에서 최대 1.84배의 학습 속도 향상을 기록했으며, ImageNet에서 AlexNet, ResNet18, GoogLeNet에 대해 평균 1.58배의 속도 향상을 달성하여 전기형 학습 대비 성능 향상을 입증했습니다.
• CIFAR-100에서 MuPPET는 3429.19초 ± 46.1초의 학습 시간에 Top-1 정확도 65.54%를 유지했으며, 동일한 시간 예산 내에서 정적 전환 전략(3679.15초 ± 141.1초, 65.44% 정확도)을 능가했습니다.
• 8비트 정수형으로만 학습할 경우 AlexNet은 검증 정확도가 1.4% 감소했고, CIFAR-100에서 ResNet20는 1.3% 감소하여 정밀도 전환의 필요성을 입증했습니다.
• MuPPET 정책은 효과적으로 일반화됩니다: 한 데이터셋(CIFAR-10)에서 학습한 스케줄을 다른 데이터셋(CIFAR-100)에 적용할 경우 심각한 정확도 저하가 발생함으로써, 메서드가 특정 네트워크-데이터셋 쌍에 맞게 최적화될 수 있음을 확인했습니다.
• MuPPET는 저정밀도 하드웨어 유닛을 사용하면서도 전기형 정확도(예: ResNet18에서 ImageNet의 Top-1 정확도 70.8%)를 달성하여 NVIDIA Turing GPU와 같은 현대 가속기와의 호환성을 입증했습니다.
• 이 프레임워크는 기존의 저정밀도 학습 기법과 수직적 관계를 유지하며, 확률적 반올림이나 동적 양자화와 같은 기법과 조합하여 성능을 추가로 향상시킬 수 있습니다.