[论文解读] Embedded Development Boards for Edge-AI: A Comprehensive Report

Hamza Ali Imran, Usama Mujahid+3 more|arXiv (Cornell University)|Sep 2, 2020

IoT and Edge/Fog Computing参考文献 2被引用 5

一句话总结

本文全面評估了針對邊緣-AI 工作負載優化的嵌入式開發板，評估其硬體能力、AI 推理效能以及在即時應用中的適用性。評估了如 NVIDIA Jetson、Google Coral 和 Raspberry Pi 等平台，識別出在性能、能效與成本之間的關鍵權衡，適用於在網路邊緣部署機器學習模型。

ABSTRACT

The use of Deep Learning and Machine Learning is becoming pervasive day by day which is opening doors to new opportunities in every aspect of technology. Its application Ranges from Health-care to Self-driving Cars, Home Automation to Smart-agriculture, and Industry 4.0. Traditionally the majority of the processing for IoT applications is being done on a central cloud but that has its issues; which include latency, security, bandwidth, and privacy, etc. It is estimated that there will be around 20 Million IoT devices by 2020 which will increase problems with sending data to the cloud and doing the processing there. A new trend of processing the data on the edge of the network is emerging. The idea is to do processing as near the point of data production as possible. Doing processing on the nodes generating the data is called Edge Computing and doing processing on a layer between the cloud and the point of data production is called Fog computing. There are no standard definitions for any of these, hence they are usually used interchangeably. In this paper, we have reviewed the development boards available for running Artificial Intelligence algorithms on the Edge

研究动机与目标

• 評估並比較適用於在邊緣部署 AI 模型的嵌入式開發板。
• 識別出在實際 AI 應用中，能平衡計算效能、功耗效率與成本的硬體平台。
• 為研究人員與開發者提供選擇最佳板卡的指導，以支援基於邊緣的機器學習工作負載。
• 分析在邊緣裝置上直接執行深度學習模型的可行性，以減少對雲端處理的依賴。
• 根據技術規格與基準測試結果，提供邊緣 AI 部署的決策框架。

提出的方法

• 系統性審查具備 AI 加速功能的市售嵌入式開發板。
• 評估關鍵硬體組件，包括 CPU、GPU、NPU 和記憶體頻寬，針對 AI 推理工作負載。
• 使用標準 AI 工作負載（如 MobileNet、SSD 和 YOLO）進行模型推論效能基準測試。
• 分析在持續 AI 處理負載下的功耗與熱特性。
• 比較軟體支援、框架相容性（例如 TensorFlow Lite、PyTorch）與開發生態系。
• 根據效能等級與目標應用領域（如機器人、智慧感測器、工業物聯網）對板卡進行分類。

实验结果

研究问题

• RQ1 哪些嵌入式開發板在邊緣執行深度學習推論時，提供最佳的性能-功耗比？
• RQ2 不同類型的 AI 加速器（如 NPU、TPU）如何影響邊緣板卡上的推論速度與能源效率？
• RQ3 影響低功耗板卡上即時 AI 模型部署的主要硬體與軟體限制為何？
• RQ4 在開發者易用性、框架支援與可擴展性方面，主流邊緣 AI 平臺之間有何差異？
• RQ5 邊緣 AI 硬體平台在成本、效能與能源效率之間存在哪些權衡？

主要发现

• NVIDIA Jetson 系列提供最高的推論效能，具備專用 AI 加速器，適用於複雜的電腦視覺任務。
• Google Coral Edge TPU 雜湊板提供出色的每瓦效能，適用於低功耗、即時邊緣 AI 應用。
• Raspberry Pi 4 搭配 USB 介面的 TPU 加速器提供具成本效益的入門選擇，但原始效能與吞吐量較低。
• 功耗效率在不同平台間差異顯著，TPU 優化板卡的每瓦效能可達僅使用 CPU 的 3–5 倍。
• 軟體堆疊的成熟度與框架相容性（特別是 TensorFlow Lite）是影響部署可行性的重要差異化因素。
• 無單一板卡在所有指標上均表現優異；選擇取決於應用特定需求，如延遲、功耗預算與成本限制。