[论文解读] A Study on the Intersection of GPU Utilization and CNN Inference

Jack Kosaian, Amar Phanishayee|arXiv (Cornell University)|Dec 15, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文研究了卷积神经网络（CNN）推理中的GPU利用率，揭示了即使在高吞吐量或高准确率的情况下，不同模型之间的利用率仍存在显著差异。本文提出将GPU利用率作为神经架构搜索（NAS）中的轻量级代理指标，证明其可减少对昂贵准确率评估的依赖，从而加速搜索过程。尽管初步结果表明在搜索时间和质量方面增益有限，但该方法展示了提升搜索效率的潜力。

ABSTRACT

There has been significant progress in developing neural network architectures that both achieve high predictive performance and that also achieve high application-level inference throughput (e.g., frames per second). Another metric of increasing importance is GPU utilization during inference: the measurement of how well a deployed neural network uses the computational capabilities of the GPU on which it runs. Achieving high GPU utilization is critical to increasing application-level throughput and ensuring a good return on investment for deploying GPUs. This paper analyzes the GPU utilization of convolutional neural network (CNN) inference. We first survey the GPU utilization of CNNs to show that there is room to improve the GPU utilization of many of these CNNs. We then investigate the GPU utilization of networks within a neural architecture search (NAS) search space, and explore how using GPU utilization as a metric could potentially be used to accelerate NAS itself. Our study makes the case that there is room to improve the inference-time GPU utilization of CNNs and that knowledge of GPU utilization has the potential to benefit even applications that do not target utilization itself. We hope that the results of this study will spur future innovation in designing GPU-efficient neural networks.

研究动机与目标

• 分析用于图像分类的最先进CNN模型在推理过程中的GPU利用率，揭示尽管吞吐量或准确率较高，但GPU利用率仍存在不足。
• 研究是否可通过提升算术强度的技术来普遍改善通用CNN的GPU利用率。
• 评估GPU利用率是否可作为神经架构搜索（NAS）中准确率的低成本代理指标，以减少搜索时间和资源消耗。
• 探索在NAS中使用GPU利用率进行近似过滤的可行性，从而最小化对完整训练评估的需求。

提出的方法

• 调查了一系列人工设计和NAS识别的CNN模型的GPU利用率，通过吞吐量和FLOPs分析进行测量。
• 分析算术强度作为GPU利用率的关键驱动因素，并应用先前工作（Kosaian et al., 2021）中的技术来提升通用CNN的算术强度。
• 在NATS-Bench搜索空间中评估模型的GPU利用率与准确率，以识别其相关性。
• 将数据系统中的近似过滤方法适配至NAS，使用GPU利用率作为预筛选器，以减少需进行完整准确率训练的候选数量。
• 通过强化学习和近似过滤进行NAS仿真，比较准确率与吞吐量的Pareto前沿。
• 通过比较完整准确率评估与GPU利用率估算在GPU、网络和存储带宽使用方面的差异，衡量资源效率。

实验结果

研究问题

• RQ1 尽管吞吐量或准确率较高，最先进的CNN在推理过程中能达到多大程度的GPU利用率？
• RQ2 此前用于专用CNN的提升算术强度的技术，是否能有效改善通用CNN的GPU利用率？
• RQ3 在NAS搜索空间内，GPU利用率与模型准确率之间是否存在有意义的相关性？
• RQ4 GPU利用率是否可作为有效的低成本代理指标，通过减少完整准确率评估次数来加速NAS？
• RQ5 在NAS中使用GPU利用率进行近似过滤时，搜索效率与解决方案质量之间存在何种权衡？

主要发现

• 许多高吞吐量和高准确率的CNN表现出次优的GPU利用率，表明性能提升尚有巨大潜力。
• 提升算术强度的技术在通用CNN中成功提高了GPU利用率和吞吐量，表明先前方法具有可迁移性。
• 在NATS-Bench搜索空间内观察到GPU利用率与准确率之间存在正相关关系，支持将利用率作为代理指标的使用。
• 使用GPU利用率进行近似过滤减少了需进行完整准确率评估的候选数量，但所得Pareto前沿仅比基线方法略有改善。
• 评估GPU利用率仅需单个GPU，且不消耗网络或存储带宽，因此相比完整准确率训练显著提升了资源效率。
• 尽管在搜索时间或解决方案质量方面未观察到显著提升，但GPU利用率评估的资源效率表明，其可提升数据中心和云环境中NAS的可扩展性。