[论文解读] Edge AIBench: Towards Comprehensive End-to-end Edge Computing Benchmarking

Tianshu Hao, Yunyou Huang+9 more|arXiv (Cornell University)|Aug 6, 2019

IoT and Edge/Fog Computing参考文献 12被引用 6

一句话总结

Edge AIBench 是一个全面的端到端边缘人工智能基准测试套件，用于评估跨客户端设备、边缘计算和云三个层级的边缘 AI 工作负载，涵盖重症监护病房患者监测、监控、智能家居和自动驾驶汽车四种真实场景。它集成了基于联邦学习的测试平台，以应对隐私和安全挑战，为异构、数据密集型边缘环境中的系统评估与优化提供标准化框架。

ABSTRACT

In edge computing scenarios, the distribution of data and collaboration of workloads on different layers are serious concerns for performance, privacy, and security issues. So for edge computing benchmarking, we must take an end-to-end view, considering all three layers: client-side devices, edge computing layer, and cloud servers. Unfortunately, the previous work ignores this most important point. This paper presents the BenchCouncil's coordinated e ort on edge AI benchmarks, named Edge AIBench. In total, Edge AIBench models four typical application scenarios: ICU Patient Monitor, Surveillance Camera, Smart Home, and Autonomous Vehicle with the focus on data distribution and workload collaboration on three layers. Edge AIBench is a part of the open-source AIBench project, publicly available from http://www.benchcouncil.org/AIBench/index.html. We also build an edge computing testbed with a federated learning framework to resolve performance, privacy, and security issues.

研究动机与目标

• 解决现有边缘 AI 基准测试中缺乏覆盖客户端设备、边缘计算和云服务器三者端到端评估的综合性问题。
• 通过 ICU 监测、监控、智能家居和自动驾驶汽车四种代表性应用场景，真实还原边缘 AI 工作负载的复杂性。
• 通过在公开可用的测试平台中集成联邦学习框架，克服边缘 AI 中的隐私与安全挑战。
• 提供标准化的开源基准测试套件，以支持边缘 AI 系统的性能评估、系统优化和跨平台比较。

提出的方法

• 设计四个端到端的应用基准，反映真实世界的边缘 AI 工作负载：ICU 患者监测、监控摄像头、智能家居和自动驾驶汽车场景。
• 围绕完整工作流构建每个基准：在客户端设备上生成数据，于边缘层执行推理，于云层进行模型训练。
• 使用成熟模型实现组件基准：使用 DeepSpeech2 进行语音识别，使用 FaceNet 进行人脸识别，使用道路标志识别模型用于自动驾驶汽车。
• 开发基于联邦学习的测试平台，其中本地模型在边缘设备（如医院）上训练，参数经加密后上传至云端，由云端计算全局模型更新并重新分发。
• 使用虚拟数据生成器（如虚拟患者数据）在测试平台中模拟真实、隐私保护的数据采集。
• 将基准测试套件集成至开源 AIBench 项目，并将测试平台公开托管于 http://www.benchcouncil.org/testbed.html。

实验结果

研究问题

• RQ1 如何在保护隐私的前提下，有效对从客户端数据生成到云上训练的完整堆栈边缘 AI 工作负载进行基准测试？
• RQ2 在智能家居和自动驾驶汽车等真实边缘 AI 应用中，关键的性能、延迟和数据分布挑战是什么？
• RQ3 联邦学习在多大程度上能够缓解边缘 AI 基准测试与系统评估中的隐私与安全风险？
• RQ4 标准化的开源基准测试套件在异构边缘 AI 环境中，如何提升系统设计、优化与跨平台比较能力？

主要发现

• Edge AIBench 提供了一个完整、端到端的基准测试框架，覆盖客户端设备、边缘计算层和云服务器，填补了现有边缘 AI 基准测试工作的关键空白。
• 该基准测试套件模拟了四种复杂的真实场景——ICU 监测、监控、智能家居和自动驾驶汽车，每种场景具有独特的数据分布和工作负载协作模式。
• 基于联邦学习的测试平台通过允许本地模型更新聚合而无需共享原始数据，实现了隐私保护的模型训练，显著提升了医疗等敏感领域中的安全性。
• 该测试平台已公开发布于 http://www.benchcouncil.org/testbed.html，支持可复现的评估与社区驱动的边缘 AI 开发。
• Edge AIBench 已集成至开源 AIBench 项目，可通过 http://www.benchcouncil.org/AIBench/index.html 访问，促进透明度与标准化。
• 该基准测试包含六个基于成熟 AI 模型（如 DeepSpeech2、FaceNet）和数据集（如 LibriSpeech、LFW）的组件基准，确保了相关性与可复现性。