[论文解读] EasyConvPooling: Random Pooling with Easy Convolution for Accelerating Training and Testing

Jian‐Zhong Sheng, Chuanbo Chen+2 more|arXiv (Cornell University)|Jun 5, 2018

Machine Learning and Data Classification参考文献 24被引用 3

一句话总结

该论文提出了一种名为 EasyConvPooling (ECP) 的新技术，通过用简易卷积（Easy Convolution）和随机池化（Random Pooling）替代传统的卷积与池化操作，从而加速卷积神经网络（CNN）的训练与推理。ECP 通过从每个 2×2 区域中随机选择一个像素进行卷积，将计算量减少 75%，在训练阶段实现 1.45 倍的加速，在推理阶段实现 1.64 倍的加速，且精度损失极小。

ABSTRACT

Convolution operations dominate the overall execution time of Convolutional Neural Networks (CNNs). This paper proposes an easy yet efficient technique for both Convolutional Neural Network training and testing. The conventional convolution and pooling operations are replaced by Easy Convolution and Random Pooling (ECP). In ECP, we randomly select one pixel out of four and only conduct convolution operations of the selected pixel. As a result, only a quarter of the conventional convolution computations are needed. Experiments demonstrate that the proposed EasyConvPooling can achieve 1.45x speedup on training time and 1.64x on testing time. What's more, a speedup of 5.09x on pure Easy Convolution operations is obtained compared to conventional convolution operations.

研究动机与目标

• 为解决深度卷积神经网络中卷积操作带来的高计算成本问题，该问题主导了训练与推理时间。
• 开发一种通用且轻量级的加速技术，适用于训练与推理，无需对网络架构进行重新设计。
• 通过随机化、稀疏计算，在实现显著加速的同时最小化精度下降。
• 通过减少卷积层的 FLOPs 和内存访问次数，实现资源受限平台上的高效部署。

提出的方法

• 提出随机池化（Random Pooling），即从每个 2×2 空间区域中随机选择一个像素来代表整个块。
• 利用所选“幸运”像素的索引，指导下一层的简易卷积（Easy Convolution）操作。
• 通过仅对所选像素执行卷积操作，实现计算量减少至原始值的 25%，从而应用简易卷积。
• 通过将卷积模式与所选像素的位置对齐（模式 K），保持特征图的形状，确保空间一致性。
• 采用从池化层到卷积层的固定索引映射，以保持跨层的空间结构。
• 通过用标准卷积和池化操作替换为 ECP 流水线，同时实现训练与推理的加速。

实验结果

研究问题

• RQ1 在每个 2×2 区域中随机选择一个像素，是否能保留网络性能，同时大幅减少卷积计算量？
• RQ2 在 ECP 框架中，随机模式（模式 K）的选择如何影响收敛性和精度？
• RQ3 与传统的最大池化（Max Pooling）和平均池化（Average Pooling）相比，ECP 在加速比和精度方面的性能提升如何？
• RQ4 ECP 是否能普遍应用于不同深度和架构的网络，实现一致的加速效果并保持极小的精度损失？
• RQ5 随机池化与简易卷积的组合，与单独使用任一技术相比，在效率和收敛性方面表现如何？

主要发现

• 与传统 CNN 相比，ECP 在训练时间上实现 1.45 倍的加速，在推理时间上实现 1.64 倍的加速，且精度损失极小。
• 所提出的方法将卷积计算量减少 75%，在纯简易卷积操作中实现 5.09 倍的加速，相比标准卷积。
• 仅使用随机池化可减少训练与推理时间，但与简易卷积结合后，性能提升更为显著。
• 在加速性能方面，ECP 优于最大池化和平均池化，尤其在深层网络中表现更优，且与最大池化相比精度下降极小。
• 模式 K（所选像素的索引）的选择对收敛性或最终精度影响极小，表明对随机选择具有强鲁棒性。
• 该方法在单卷积层和双卷积层网络中均表现出良好的收敛行为，证明了其在不同架构中的稳定性与泛化能力。