[论文解读] Fast Convolutional Nets With fbfft: A GPU Performance Evaluation

Nicolas Vasilache, Jeff Johnson+4 more|arXiv (Cornell University)|Dec 24, 2014

Advanced Neural Network Applications参考文献 14被引用 251

一句话总结

该论文提出 fbfft，一个为GPU加速的卷积神经网络量身定制的优化开源FFT库，通过针对深度学习工作负载的算法优化（包括分块、原地转置和针对频域卷积的自定义核融合），在特定卷积层上实现了超过1.5倍的加速，相较于cuFFT提升1.5倍以上，最高达23.5倍。

ABSTRACT

We examine the performance profile of Convolutional Neural Network training on the current generation of NVIDIA Graphics Processing Units. We introduce two new Fast Fourier Transform convolution implementations: one based on NVIDIA's cuFFT library, and another based on a Facebook authored FFT implementation, fbfft, that provides significant speedups over cuFFT (over 1.5x) for whole CNNs. Both of these convolution implementations are available in open source, and are faster than NVIDIA's cuDNN implementation for many common convolutional layers (up to 23.5x for some synthetic kernel configurations). We discuss different performance regimes of convolutions, comparing areas where straightforward time domain convolutions outperform Fourier frequency domain convolutions. Details on algorithmic applications of NVIDIA GPU hardware specifics in the implementation of fbfft are also provided.

研究动机与目标

• 通过探索使用快速傅里叶变换（FFTs）的频域卷积，解决GPU上卷积神经网络（CNN）训练的性能瓶颈。
• 克服现有GPU FFT库（如cuFFT和cuDNN）在处理深度学习中常见的小特征平面和大mini-batch时的局限性。
• 开发一个自定义的、高度优化的FFT实现（fbfft），在广泛的卷积层配置下超越cuFFT和cuDNN的性能表现。
• 通过算法优化（如分块、异步FFT预计算和原地内存管理）提升GPU利用率并减轻内存压力。

提出的方法

• 使用卷积定理实现频域卷积：通过FFT将输入和卷积核转换到频域，执行逐点乘法，再通过逆FFT获得输出。
• 开发fbfft，一个从零开始构建的开源GPU FFT库，专为1D和2D批量变换优化，支持2的幂次大小，并通过隐式填充减少内存开销。
• 应用分块技术将大卷积分解为较小卷积（大小约等于卷积核大小），将时间复杂度从O(n log n)降低至O(n log w)，从而在小尺寸（8–64）下高效利用fbfft的高性能。
• 通过跨层复用FFT结果、异步预计算权重FFT以及消除冗余临时缓冲区，优化内存访问和核启动开销。
• 集成自定义的原地、寄存器内转置和逐点乘法核，以减少内存带宽和核启动成本。
• 利用DIF/DIT FFT变体消除位反转操作，提升小FFT尺寸下的性能表现。

实验结果

研究问题

• RQ1 在现代GPU上，针对典型的深度学习工作负载，通过FFT实现的频域卷积是否能超越时域卷积的性能表现？
• RQ2 cuFFT和cuDNN在不同卷积层配置下的性能特征如何比较，特别是在小特征平面和大mini-batch场景下？
• RQ3 通过利用深度学习中的领域特定模式，自定义FFT实现（fbfft）在多大程度上能超越黑箱库（如cuFFT）的性能表现？
• RQ4 哪些算法优化（如分块、内存复用和核融合）在FFT基础卷积中最为有效，能最小化延迟并最大化GPU利用率？
• RQ5 fbfft在小FFT尺寸（8–64）下的性能优势，能否通过分块和内存管理策略扩展到更大卷积中？

主要发现

• 在目标问题领域，fbfft在卷积操作上相比cuFFT实现了1.51倍的平均加速，许多配置下的性能提升超过1.5倍。
• 使用fbfft的基于FFT的卷积实现，在合成核配置下相比cuDNN最高实现23.5倍加速，并在常见层尺寸上实现1.4倍至14.5倍的加速。
• 对于小尺寸卷积（8–64），fbfft由于优化的内存访问、减少的核启动开销和隐式填充，相比cuFFT实现超过1.5倍的加速。
• 分块策略将大卷积的渐近时间复杂度从O(n log n)降低至O(n log w)，从而在小尺寸下高效利用fbfft的高性能。
• 通过跨层复用FFT结果和异步预计算权重FFT，减轻了内存压力，提升了GPU利用率并减少了临时缓冲区的使用。
• 作者在某些情况下实现了超过75%的GPU效率比，通过算法和内存优化，充分展示了GPU计算资源的高效利用。