[论文解读] Efficient Winograd Convolution via Integer Arithmetic

Lingchuan Meng, Brothers, John|arXiv (Cornell University)|Jan 7, 2019

Advanced Neural Network Applications参考文献 17被引用 27

一句话总结

本文提出了一种基于复数域的Winograd卷积算法，其扩展了有理数算术之外的整数计算，相较于直接方法将算术复杂度降低了3.13倍，相较于有理数Winograd方法最高提升了17.37%的效率。此外，本文提出了一种面向整数的滤波器缩放方案，将滤波器位宽减少了30.77%，同时保持了极小的精度损失，从而实现了在仅支持整数运算的硬件加速器上的高性能推理。

ABSTRACT

Convolution is the core operation for many deep neural networks. The Winograd convolution algorithms have been shown to accelerate the widely-used small convolution sizes. Quantized neural networks can effectively reduce model sizes and improve inference speed, which leads to a wide variety of kernels and hardware accelerators that work with integer data. The state-of-the-art Winograd algorithms pose challenges for efficient implementation and execution by the integer kernels and accelerators. We introduce a new class of Winograd algorithms by extending the construction to the field of complex and propose optimizations that reduce the number of general multiplications. The new algorithm achieves an arithmetic complexity reduction of $3.13$x over the direct method and an efficiency gain up to $17.37\%$ over the rational algorithms. Furthermore, we design and implement an integer-based filter scaling scheme to effectively reduce the filter bit width by $30.77\%$ without any significant accuracy loss.

研究动机与目标

• 解决在仅支持整数运算的硬件加速器和内核上高效实现Winograd卷积的挑战。
• 克服基于有理数的Winograd算法在定点算术环境中带来的高开销问题。
• 设计一类基于复数域的新Winograd算法，以减少通用乘法次数并提升算术效率。
• 设计一种硬件友好的、基于整数的滤波器精度缩放方案，以在不显著降低精度的前提下减少位宽。
• 展示将复杂Winograd卷积与精度缩放相结合在量化神经网络中的可行性与性能优势。

提出的方法

• 将Winograd算法的构造从有理数域 ℚ 扩展至复数域 ℂ，以支持更高效的整数算术计算。
• 应用优化技术以最小化复数Winograd算法中的通用乘法次数，实现更低的算术复杂度。
• 设计一种基于整数算术的滤波器缩放方案，用于在Winograd域中对滤波器进行下采样，将位宽减少30.77%。
• 使用最优整数缩放因子近似实数值缩放，以最小化静态数值误差与比例误差。
• 将所提出的Winograd算法与缩放方法集成至量化模型（如Inception V3、ResNet V2-50）中，进行端到端评估。
• 通过标准基准（ILSVRC-12）对比修改后的模型与参考量化模型的精度与效率，进行评估。

实验结果

研究问题

• RQ1 将Winograd卷积扩展至复数域是否能提升算术效率并减少整数算术环境中的通用乘法次数？
• RQ2 如何通过复数域中的算法优化最小化Winograd卷积中的通用乘法次数？
• RQ3 在Winograd域中通过基于整数的缩放，滤波器位宽可减少到何种程度而不引入显著的精度损失？
• RQ4 将复杂Winograd卷积与精度缩放相结合，对量化神经网络中的推理精度有何影响？
• RQ5 与现有基于有理数的Winograd算法相比，该方法在整数硬件上的效率与精度表现如何？

主要发现

• 所提出的复杂Winograd算法相较于直接卷积方法，算术复杂度降低了3.13倍。
• 在考虑硬件字长的前提下，该算法相较最优的有理数Winograd算法，效率提升了15.93%至17.37%。
• 基于整数的滤波器缩放方案将滤波器位宽减少了30.77%，平均数值误差为1.12，平均比例误差为0.1%。
• Inception V3模型采用该方法后，保持了73.69%的Top-1精度（Δ = -0.22%）和90.3%的Top-5精度（Δ = -0.67%），与参考模型相比。
• ResNet V2-50模型仅出现0.13%的Top-1精度下降（73.21% vs. 73.34%），Top-5精度保持一致（90.83%），证实了精度损失可忽略。
• 复杂Winograd卷积与精度缩放的结合，使得在仅支持整数运算的硬件上实现高性能推理成为可能，且精度退化极小。