[论文解读] Acceleration of Convolutional Neural Network Using FFT-Based Split Convolutions

Kamran Chitsaz, Mohsen Hajabdollahi+3 more|arXiv (Cornell University)|Mar 27, 2020

Advanced Neural Network Applications参考文献 21被引用 25

一句话总结

本文提出了一种基于FFT的分割卷积方法，通过在频域中减少计算复杂度，加速卷积神经网络（CNNs）的运算。通过分割输入特征并利用重叠-相加技术，该方法最小化了冗余并提升了效率，在硬件实现和复杂度分析方面均优于传统的基于FFT的CNN。

ABSTRACT

Convolutional neural networks (CNNs) have a large number of variables and hence suffer from a complexity problem for their implementation. Different methods and techniques have developed to alleviate the problem of CNN's complexity, such as quantization, pruning, etc. Among the different simplification methods, computation in the Fourier domain is regarded as a new paradigm for the acceleration of CNNs. Recent studies on Fast Fourier Transform (FFT) based CNN aiming at simplifying the computations required for FFT. However, there is a lot of space for working on the reduction of the computational complexity of FFT. In this paper, a new method for CNN processing in the FFT domain is proposed, which is based on input splitting. There are problems in the computation of FFT using small kernels in situations such as CNN. Splitting can be considered as an effective solution for such issues aroused by small kernels. Using splitting redundancy, such as overlap-and-add, is reduced and, efficiency is increased. Hardware implementation of the proposed FFT method, as well as different analyses of the complexity, are performed to demonstrate the proper performance of the proposed method.

研究动机与目标

• 为解决CNNs的高计算复杂度问题，特别是基于FFT的实现方式。
• 减少基于FFT的卷积运算中的冗余，提升效率，尤其针对小卷积核。
• 提出一种新颖的基于输入分割的FFT域CNN处理方法，以增强计算性能。
• 通过硬件实现和全面的复杂度分析评估所提出的方法。

提出的方法

• 该方法在频域中引入输入分割，将大型特征图分解为更小、更易管理的片段。
• 应用重叠-相加技术以减少冗余，并确保卷积输出的准确重建。
• 该方法利用快速傅里叶变换（FFT）将空间卷积转换为频域中的逐元素乘法。
• 通过复杂度分析证明该方法在计算效率上优于标准的基于FFT的CNN。
• 开展硬件实现以验证实际性能和可扩展性。
• 该方法被设计为比现有基于FFT的方法更高效地处理小卷积核卷积。

实验结果

研究问题

• RQ1 如何使基于FFT的CNN在小卷积核卷积中更加高效？
• RQ2 输入分割在FFT域中如何减少冗余并提升计算效率？
• RQ3 重叠-相加技术能否有效最小化基于FFT卷积中的计算开销？
• RQ4 与现有的基于FFT的CNN加速技术相比，所提出方法在复杂度和性能上表现如何？
• RQ5 该基于FFT的分割卷积方法的硬件实现具有哪些实际意义？

主要发现

• 所提出的基于FFT的分割卷积方法通过输入分割和重叠-相加技术，在小卷积核卷积中显著减少了计算冗余。
• 复杂度分析证实，该方法在计算复杂度上低于标准的基于FFT的CNN。
• 硬件实现结果表明效率和性能得到提升，验证了该方法的实际可行性。
• 该方法有效解决了基于FFT的CNN在小卷积核应用中的局限性，传统方法在此类场景下往往效率低下。
• 该方法在加速推理的同时保持了高精度，适用于实时和资源受限的应用场景。