[论文解读] Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks

Urs Köster, Tristan J. Webb+12 more|arXiv (Cornell University)|Nov 6, 2017

Model Reduction and Neural Networks参考文献 11被引用 166

一句话总结

Flexpoint 是一种带有 5 位共享指数的 16 位尾数格式，用于训练深度网络，由 Autoflex 管理，在 AlexNet、ResNet 和 WGAN 上实现与 32 位 FP 训练的等同性且无需超参数调整。

ABSTRACT

Deep neural networks are commonly developed and trained in 32-bit floating point format. Significant gains in performance and energy efficiency could be realized by training and inference in numerical formats optimized for deep learning. Despite advances in limited precision inference in recent years, training of neural networks in low bit-width remains a challenging problem. Here we present the Flexpoint data format, aiming at a complete replacement of 32-bit floating point format training and inference, designed to support modern deep network topologies without modifications. Flexpoint tensors have a shared exponent that is dynamically adjusted to minimize overflows and maximize available dynamic range. We validate Flexpoint by training AlexNet, a deep residual network and a generative adversarial network, using a simulator implemented with the neon deep learning framework. We demonstrate that 16-bit Flexpoint closely matches 32-bit floating point in training all three models, without any need for tuning of model hyperparameters. Our results suggest Flexpoint as a promising numerical format for future hardware for training and inference.

研究动机与目标

• 证明一种共享指数的定点风格格式能够在不改变拓扑结构或超参数的情况下训练现代神经网络。
• 开发 Autoflex，动态管理张量指数并在训练过程中防止溢出。
• 在具有代表性的架构上评估 Flexpoint，以将其训练性能与 32 位浮点进行比较。

提出的方法

• 提出 flexN+M 数据格式，其中张量共享一个公用指数并保持固定尾数。
• 引入 Autoflex，以基于张量统计预测并调整每个操作的输出指数。
• 在训练中使用一种初始化过程来设定指数，以及在每个小批次内的两阶段缩放更新。
• 通过仿真器实验进行验证，将 Flexpoint 操作映射到 GPU 内核，底层使用 int16 与 float32 计算。
• 在各模型中将训练动态和最终性能与 FP32 和 FP16 基线进行比较。

实验结果

研究问题

• RQ1 共享指数、定点风格格式是否可以在不改变超参数的前提下，在多样化网络上达到与 FP32 训练相当的效果？
• RQ2 如何通过指数管理策略（Autoflex）在训练中防止溢出并高效利用动态范围？
• RQ3 定点风格格式是否会降低对 ResNet 或 GAN 等具有挑战性的模型的训练质量，与 FP32 相比？
• RQ4 Flexpoint 对卷积神经网络和生成对抗网络的收敛性与最终精度的经验影响是什么？

主要发现

• 使用 flex16+5 的 Flexpoint 在 AlexNet、CIFAR-10 的 ResNet-110，以及 LSUN 上的 Wasserstein GAN 的训练性能与 FP32 十分接近。
• 对于这些模型，未进行调整的 FP16 相较于 FP32 和 Flexpoint 的性能较差。
• Autoflex 能预测并调整指数以防止溢出，从而实现无需超参数调整的稳定训练。
• 实验使用基于 GPU 的 Flexpoint 模拟器，显示与 FP32 相当的训练动态，且比 FP16 更稳定。
• Flexpoint 通过将许多运算转换为定点风格算术实现硬件效率优势，同时在算法层面保持与 FP32 的等效性。