[论文解读] Evolution of Convolutional Neural Network (CNN): Compute vs Memory bandwidth for Edge AI

Dwith Chenna|arXiv (Cornell University)|Sep 24, 2023

Advanced Memory and Neural Computing被引用 4

一句话总结

本文分析了边缘人工智能（Edge AI）中卷积神经网络（CNNs）的计算与内存带宽之间不断演变的权衡关系，追溯了从早期模型到最先进设计的架构演进。研究发现，模型复杂度的提升同时增加了计算需求和内存访问量，为设计高效CNN架构及面向资源受限边缘设备的硬件加速器提供了洞见。

ABSTRACT

Convolutional Neural Networks (CNNs) have greatly influenced the field of Embedded Vision and Edge Artificial Intelligence (AI), enabling powerful machine learning capabilities on resource-constrained devices. This article explores the relationship between CNN compute requirements and memory bandwidth in the context of Edge AI. We delve into the historical progression of CNN architectures, from the early pioneering models to the current state-of-the-art designs, highlighting the advancements in compute-intensive operations. We examine the impact of increasing model complexity on both computational requirements and memory access patterns. The paper presents a comparison analysis of the evolving trade-off between compute demands and memory bandwidth requirements in CNNs. This analysis provides insights into designing efficient architectures and potential hardware accelerators in enhancing CNN performance on edge devices.

研究动机与目标

• 理解CNN架构在计算与内存带宽需求方面的历史演变。
• 研究模型复杂度增加对边缘人工智能系统中计算需求与内存访问模式的影响。
• 识别边缘部署的CNN中因计算与内存带宽不平衡而产生的性能瓶颈。
• 为面向资源受限边缘设备的高效CNN架构与硬件加速器提供设计洞见。
• 指导嵌入式视觉应用中能效更高、性能更强的推理系统未来发展方向。

提出的方法

• 追溯从早期模型（如AlexNet、VGG）到现代最先进设计（如EfficientNet、MobileNet变体）的CNN架构演进。
• 使用FLOPs（浮点运算次数）分析计算需求，使用激活张量与权重张量的访问模式分析内存带宽需求。
• 比较不同CNN系列随时间推移的计算与内存带宽增长趋势。
• 评估深度可分离卷积等架构创新对计算-内存带宽权衡的影响。
• 利用已发表模型的实证数据，量化计算与内存带宽需求的演变。
• 提出一种基于计算与内存带宽比值的CNN效率评估框架，实现对边缘硬件上性能的预测。

实验结果

研究问题

• RQ1 在边缘人工智能背景下，从早期到现代架构，CNN的计算与内存带宽需求如何演变？
• RQ2 不同CNN系列中，计算需求与内存带宽需求的增长速率相比如何？
• RQ3 诸如深度可分离卷积等架构创新在不增加计算量的前提下，能在多大程度上减轻内存带宽负担？
• RQ4 当前边缘设备上CNN推理流水线的主要瓶颈是计算还是内存带宽？
• RQ5 如何将CNN架构与硬件加速器协同设计，以平衡计算与内存带宽约束？

主要发现

• CNN的计算需求随时间显著增长，从AlexNet到现代模型，FLOPs提升了数个数量级。
• 内存带宽需求也大幅增加，通常超过片上内存带宽的改进速度，使内存访问成为关键瓶颈。
• 如深度可分离卷积等架构创新可将FLOPs相比标准卷积降低多达8倍，但内存带宽的节省效果较弱。
• 计算与内存带宽的比值未按比例提升，表明内存访问正日益成为边缘推理的限制因素。
• 现代CNN如EfficientNet和MobileNet虽以较低FLOPs实现高精度，但其内存带宽需求仍很高，主要源于庞大的激活张量。
• 本文结论指出，未来硬件加速器必须优先提升内存带宽效率，才能充分发挥先进CNN在边缘设备上的潜力。