[论文解读] HarDNet: A Low Memory Traffic Network

Ping Chao, Chao-Yang Kao+3 more|arXiv (Cornell University)|Sep 3, 2019

Advanced Neural Network Applications参考文献 35被引用 6

一句话总结

HarDNet 提出了一种新颖的神经网络架构，通过最小化中间特征图的 DRAM 通信量，解决了实时边缘推理中的关键瓶颈。通过引入谐波连接模式和通道平衡机制，提升计算密度（MACs 与 CIO 之比），HarDNet 相较于 ResNet、DenseNet 和 SSD-VGG，将推理延迟降低了 30–45%，同时保持了高精度。

ABSTRACT

State-of-the-art neural network architectures such as ResNet, MobileNet, and DenseNet have achieved outstanding accuracy over low MACs and small model size counterparts. However, these metrics might not be accurate for predicting the inference time. We suggest that memory traffic for accessing intermediate feature maps can be a factor dominating the inference latency, especially in such tasks as real-time object detection and semantic segmentation of high-resolution video. We propose a Harmonic Densely Connected Network to achieve high efficiency in terms of both low MACs and memory traffic. The new network achieves 35%, 36%, 30%, 32%, and 45% inference time reduction compared with FC-DenseNet-103, DenseNet-264, ResNet-50, ResNet-152, and SSD-VGG, respectively. We use tools including Nvidia profiler and ARM Scale-Sim to measure the memory traffic and verify that the inference latency is indeed proportional to the memory traffic consumption and the proposed network consumes low memory traffic. We conclude that one should take memory traffic into consideration when designing neural network architectures for high-resolution applications at the edge.

研究动机与目标

• 填补现有模型在优先考虑 MACs 和模型大小时，却忽视了实时应用中特征图 DRAM 通信量的空白。
• 识别内存流量为推理延迟的主要影响因素，尤其是在语义分割和目标检测等高分辨率任务中。
• 设计一种最小化特征图内存流量的神经网络架构，同时不牺牲精度或计算效率。
• 证明计算密度（MACs 与 CIO 之比）是预测边缘设备上推理延迟的关键指标。

提出的方法

• 提出卷积输入/输出（CIO）作为平台无关的 DRAM 通信量代理指标，定义为所有卷积层输入与输出张量大小的总和。
• 对 MACs 与 CIO 之比（MoC）施加软约束，以避免计算密度极低的层（如通道比很高的 1x1 卷积）。
• 设计一种受 DenseNet 启发的谐波连接模式，但通过剪枝冗余连接来降低拼接操作的开销。
• 根据各层的连接性对通道宽度进行平衡，以维持高计算密度并减少内存流量。
• 使用 Nvidia Profiler 和 ARM Scale-Sim 测量实际内存流量，并验证 CIO 作为推理延迟可靠代理的有效性。
• 在 COCO 和 VOC 数据集上训练并评估 HarDNet 变体（如 HarDNet-68、HarDNet-138s）在目标检测和语义分割任务上的性能。

实验结果

研究问题

• RQ1 在边缘设备上，高分辨率视觉任务中特征图的内存流量在多大程度上主导了推理延迟？
• RQ2 能否设计一种神经网络架构，在不增加 MACs 或降低精度的前提下最小化特征图内存流量？
• RQ3 CIO 指标是否能在不同硬件平台上可靠地预测实际推理延迟？
• RQ4 计算密度（MACs 与 CIO 之比）如何影响内存流量与计算之间的延迟权衡？
• RQ5 在密集连接网络中，谐波连接模式能否在保持或提升精度的同时减少内存流量？

主要发现

• 与 FC-DenseNet-103 相比，HarDNet 将推理时间减少了 35%；与 DenseNet-264 相比减少了 36%；与 ResNet-152 相比减少了 32%（在 GPU 上）。
• HarDNet-68 的推理速度比 ResNet-50 快 30%，同时在 COCO 和 VOC 数据集上的 mAP 表现优于 SSD-VGG。
• 所提出的 CIO 指标与通过 Nvidia Profiler 和 ARM Scale-Sim 测量的实际 DRAM 通信量高度相关，验证了其作为代理指标的有效性。
• HarDNet-68 在 COCO 上达到 31.7 的 mAP，在 VOC 2007 上达到 81.5%，优于 SSD-ResNet101，尽管其 ImageNet 准确率更低。
• 与 FC-DenseNet 相比，HarDNet 将特征图的 DRAM 通信量减少了 40%，证明了谐波连接与通道平衡策略的有效性。
• 研究表明，当计算密度（MoC）较低时，内存流量可能主导推理延迟，使其成为边缘 AI 设计中的关键考量因素。