[논문 리뷰] Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks

Urs Köster, Tristan J. Webb외 12명|arXiv (Cornell University)|2017. 11. 06.

Model Reduction and Neural Networks참고 문헌 11인용 수 166

한 줄 요약

Flexpoint는 16비트 가수부와 5비트 공유 지수 형식으로 딥 네트웍 학습을 관리하는 시스템으로 Autoflex에 의해 관리되며, 하이퍼파라미터를 변경하지 않고도 AlexNet, ResNet, WGAN에서 32비트 FP 학습과 동등한 성능을 달성합니다.

ABSTRACT

Deep neural networks are commonly developed and trained in 32-bit floating point format. Significant gains in performance and energy efficiency could be realized by training and inference in numerical formats optimized for deep learning. Despite advances in limited precision inference in recent years, training of neural networks in low bit-width remains a challenging problem. Here we present the Flexpoint data format, aiming at a complete replacement of 32-bit floating point format training and inference, designed to support modern deep network topologies without modifications. Flexpoint tensors have a shared exponent that is dynamically adjusted to minimize overflows and maximize available dynamic range. We validate Flexpoint by training AlexNet, a deep residual network and a generative adversarial network, using a simulator implemented with the neon deep learning framework. We demonstrate that 16-bit Flexpoint closely matches 32-bit floating point in training all three models, without any need for tuning of model hyperparameters. Our results suggest Flexpoint as a promising numerical format for future hardware for training and inference.

연구 동기 및 목표

• 공간적·구조적 최적화나 하이퍼파라미터 변경 없이 공유 지수 고정 소수점 스타일 형식이 현대 신경망 훈련을 가능하게 함을 입증한다.
• 훈련 중 텐서 지수를 동적으로 관리하고 오버플로를 방지하기 위해 Autoflex를 개발한다.
• 대표적 아키텍처에서 Flexpoint를 평가하여 32비트 부동소수점과의 학습 성능을 비교한다.

제안 방법

• 텐서가 공통 지수를 공유하고 가수부를 고정한 flexN+M 데이터 형식을 제안한다.
• 출력 지수를 텐서 통계에 따라 예측하고 조정하기 위해 Autoflex를 도입한다.
• 초기화 절차를 사용하여 지수를 설정하고 학습 중에 미니배치당 두 단계 스케일링 업데이트를 수행한다.
• Flexpoint 연산을 GPU 커널에 매핑하고 그 아래에서 float32 계산을 사용하는 int16 기반 시뮬레이터를 통해 검증한다.
• 모델 전체에 걸쳐 FP32 및 FP16 기준선과 비교하여 학습 역학 및 최종 성능을 비교한다.

실험 결과

연구 질문

• RQ1 공격지수 공유 고정 소수점 형식이 하이퍼파라미터를 변경하지 않고 다양한 네트워크에서 FP32 학습과 동등한 성능을 달성할 수 있는가?
• RQ2 Autoflex와 같은 지수 관리 전략이 오버플로를 방지하고 학습 중 다이나믹 레인지를 효율적으로 활용하는 방식은 무엇인가?
• RQ3 고정소수점에서 영감을 받은 형식이 ResNet이나 GAN과 같은 도전적인 모델에서 FP32에 비해 학습 품질을 저하시킬 수 있는가?
• RQ4 CNN 및 GAN의 수렴 및 최종 정확도에 대한 Flexpoint의 실증적 영향은 무엇인가?

주요 결과

• Flexpoint의 flex16+5는 CIFAR-10의 AlexNet, ResNet-110, LSUN의 Wasserstein GAN에서 FP32 학습 성능과 근접하게 매칭한다.
• 이 모델들에 대해 조정 없이 FP16은 FP32 및 Flexpoint에 비해 성능이 떨어진다.
• Autoflex는 지수를 예측하고 조정하여 오버플로를 방지하고 하이퍼파라미터 변경 없이 안정적인 학습을 가능하게 한다.
• 실험은 GPU 기반 Flexpoint 시뮬레이터를 사용하여 FP32와 비교되는 학습 역학과 FP16보다 더 나은 안정성을 보인다.
• Flexpoint는 많은 연산을 고정소수점 스타일 산술로 변환하여 하드웨어 효율성을 제공하면서도 FP32와의 알고리즘적 동등성을 유지한다.