[论文解读] Low-Power Computer Vision: Status, Challenges, Opportunities

Sergei Alyamkin, Matthew Ardi+42 more|arXiv (Cornell University)|Apr 15, 2019

Advanced Neural Network Applications参考文献 25被引用 5

一句话总结

本文介绍了2018年低功耗图像识别挑战赛（LPIRC）优胜者解决方案，分析了面向能效型计算机视觉的系统级优化。从2015年到2018年，能效（评分）提升了24.5倍，2018年Track 3的能效达到0.4446 mAP/W-h，同时概述了未来在低功耗视觉系统方面的研究方向。

ABSTRACT

Computer vision has achieved impressive progress in recent years. Meanwhile, mobile phones have become the primary computing platforms for millions of people. In addition to mobile phones, many autonomous systems rely on visual data for making decisions and some of these systems have limited energy (such as unmanned aerial vehicles also called drones and mobile robots). These systems rely on batteries and energy efficiency is critical. This article serves two main purposes: (1) Examine the state-of-the-art for low-power solutions to detect objects in images. Since 2015, the IEEE Annual International Low-Power Image Recognition Challenge (LPIRC) has been held to identify the most energy-efficient computer vision solutions. This article summarizes 2018 winners' solutions. (2) Suggest directions for research as well as opportunities for low-power computer vision.

研究动机与目标

• 评估并推进面向智能手机、无人机和机器人等移动及电池供电设备的能效型计算机视觉系统。
• 识别在实时目标检测中实现高精度同时最小化能耗的系统级设计选择。
• 通过每年一度的竞赛推动低功耗视觉领域的创新，将准确率和能效作为评分指标。
• 探索软硬件协同设计、模型压缩以及嵌入式人工智能高效推理方面的未来研究机遇。

提出的方法

• LPIRC竞赛采用基于网络的系统，参赛者通过HTTP请求将目标检测结果提交至裁判服务器，10分钟内处理20,000张图像。
• 评分采用平均平均精度（mAP）与总能耗（单位为瓦时，mAP/W-h）的比值，优先选择高准确率且低功耗的方案。
• 优胜团队采用模型压缩技术，如知识蒸馏、量化和网络剪枝，以降低计算负载。
• 硬件平台包括CPU、GPU、FPGA和ASIC，团队根据能效权衡及对低精度算术的支持程度选择平台。
• 系统级优化包括将模型量化至INT8或更低精度、从大模型进行知识蒸馏，以及构建高效的推理流水线。
• 竞赛包含三个赛道：Track 1（通用）、Track 2（移动端优化）和Track 3（超低功耗），各赛道对模型大小和能效预算有不同限制。

实验结果

研究问题

• RQ1 哪些系统级设计选择能够显著提升移动和嵌入式系统中实时目标检测的能效？
• RQ2 如何有效应用知识蒸馏和量化等模型压缩技术，在严格能效约束下保持高准确率？
• RQ3 在能效、开发成本和部署灵活性方面，硬件平台（CPU、GPU、FPGA、ASIC）之间存在哪些权衡？
• RQ4 未来计算机视觉系统如何通过软硬件协同设计，同时优化能效、延迟和准确率？
• RQ5 在低功耗环境中，实现视觉系统理解复杂视觉概念（如意图、情绪或上下文）面临哪些挑战与机遇？

主要发现

• 2018年LPIRC Track 3优胜者获得0.4446 mAP/W-h的评分，相比2015年冠军的0.0182 mAP/W-h提升了24.5倍。
• Track 3中表现最佳的解决方案在仅消耗0.412瓦时能量的情况下，实现了0.18318的mAP，展现出超低功耗运行能力。
• 系统级优化如将模型量化至8位或更低精度，以及知识蒸馏，显著降低了能耗，且未造成显著准确率损失。
• 与通用CPU和GPU相比，基于FPGA和ASIC的平台在能效方面表现更优，尤其在严苛的功耗预算下。
• 竞赛在推动创新方面的成效显著，2015年至2018年间能效提升超过24倍，尽管mAP仍低于ImageNet基准，但进步迅速。
• 通过设置多样化的赛道（包括超低功耗赛道），降低了参与门槛，促进了机器学习与嵌入式系统社区的广泛参与。