[论文解读] Comparison and Benchmarking of AI Models and Frameworks on Mobile Devices

Chunjie Luo, Xiwen He+4 more|arXiv (Cornell University)|May 7, 2020

Advanced Neural Network Applications参考文献 34被引用 41

一句话总结

AIoTBench 在 5 个设备上对 6 个模型和 3 个框架进行移动端 AI 推断基准测试，使用 VIPS 和 VOPS 进行评分，以比较 AI 能力与取舍。

ABSTRACT

Due to increasing amounts of data and compute resources, deep learning achieves many successes in various domains. The application of deep learning on the mobile and embedded devices is taken more and more attentions, benchmarking and ranking the AI abilities of mobile and embedded devices becomes an urgent problem to be solved. Considering the model diversity and framework diversity, we propose a benchmark suite, AIoTBench, which focuses on the evaluation of the inference abilities of mobile and embedded devices. AIoTBench covers three typical heavy-weight networks: ResNet50, InceptionV3, DenseNet121, as well as three light-weight networks: SqueezeNet, MobileNetV2, MnasNet. Each network is implemented by three frameworks which are designed for mobile and embedded devices: Tensorflow Lite, Caffe2, Pytorch Mobile. To compare and rank the AI capabilities of the devices, we propose two unified metrics as the AI scores: Valid Images Per Second (VIPS) and Valid FLOPs Per Second (VOPS). Currently, we have compared and ranked 5 mobile devices using our benchmark. This list will be extended and updated soon after.

研究动机与目标

• 激发并界定在移动和嵌入式设备上进行端上 AI 推断基准测试的需求。
• 提出 AIoTBench，用于在不同模型结构和框架之间评估推断。
• 引入统一的 AI 评分 VIPS 和 VOPS，以比较设备。
• 提供在真实移动硬件上的实际基准测试工作流程。

提出的方法

• 用六个网络定义工作负载（三款较重的：ResNet50、InceptionV3、DenseNet121；三款较轻的：SqueezeNet、MobileNetV2、MnasNet）。
• 在三种移动/嵌入式框架中实现每个模型（TensorFlow Lite、Caffe2、PyTorch Mobile）。
• 使用 ImageNet 验证集（每个类别5张随机图像，总计5000张）进行推断基准测试。
• 按照规定（Table IV）使用框架特定的归一化、形状和颜色顺序对输入进行预处理。
• 衡量准确率和每张图像的推断时间；并通过定义的方程计算 AI 评分 VIPS 和 VOPS。

实验结果

研究问题

• RQ1 在不同框架下，移动设备上不同 AI 模型如何在准确率、规模和推理速度之间权衡？
• RQ2 移动硬件和框架如何影响端上 AI 推断性能？
• RQ3 统一的 VIPS 和 VOPS 分数是否能为比较移动设备提供稳定的基础？
• RQ4 在同一设备上，框架选择如何影响模型性能？
• RQ5 同一模型在不同设备和实现中的准确率存在何种变异？

主要发现

• AIoTBench 覆盖 6 个模型、3 个框架，以基准测试移动端 AI 推断。
• 两个统一指标 VIPS 和 VOPS 在以准确率为权重的前提下，概括端到端推断质量和吞吐量。
• 结果显示性能随设备、模型和框架而异，没有一个框架在所有条件下都占优势。
• 相同模型和实现可能在不同设备上得到不同的准确率；Oppo R17 显示出轻微的准确率偏差。
• 在不同设备上，框架性能排序会变化，例如 PyTorch Mobile 在某些设备上通常更快，而 TensorFlow Lite CPU 或 NNAPI delegation 在不同模型上表现不同。