[论文解读] DeFog: Fog Computing Benchmarks

Jonathan McChesney, Nan Wang+3 more|arXiv (Cornell University)|Jul 25, 2019

IoT and Edge/Fog Computing参考文献 32被引用 9

一句话总结

DeFog 是一个与平台无关的雾计算基准测试套件，通过六种基于流的、对延迟敏感的工作负载，在仅云、仅边缘和云-边缘部署模式下评估应用程序性能。它通过自动化的容器化部署和指标收集，实现标准化、可重复的性能测量，为雾环境中服务的最佳部署位置和性能提升提供洞察。

ABSTRACT

Fog computing envisions that deploying services of an application across resources in the cloud and those located at the edge of the network may improve the overall performance of the application when compared to running the application on the cloud. However, there are currently no benchmarks that can directly compare the performance of the application across the cloud-only, edge-only and cloud-edge deployment platform to obtain any insight on performance improvement. This paper proposes DeFog, a first Fog benchmarking suite to: (i) alleviate the burden of Fog benchmarking by using a standard methodology, and (ii) facilitate the understanding of the target platform by collecting a catalogue of relevant metrics for a set of benchmarks. The current portfolio of DeFog benchmarks comprises six relevant applications conducive to using the edge. Experimental studies are carried out on multiple target platforms to demonstrate the use of DeFog for collecting metrics related to application latencies (communication and computation), for understanding the impact of stress and concurrent users on application latencies, and for understanding the performance of deploying different combination of services of an application across the cloud and edge. DeFog is available for public download (https://github.com/qub-blesson/DeFog).

研究动机与目标

• 解决缺乏标准化基准测试以评估云、边缘及混合部署下雾计算性能的问题。
• 提供一种一致且自动化的测量方法，用于评估在压力和并发负载下应用的延迟、资源利用率及系统行为。
• 通过使用容器化工作负载和标准化指标，实现对雾平台的硬件无关比较。
• 支持系统开发人员和厂商识别在云和边缘资源之间最优的服务分布，以提升服务质量（QoS）和用户体验质量（QoE）。
• 通过开源可用性和可扩展性，促进社区驱动的雾基准测试开发。

提出的方法

• DeFog 采用六步基准测试方法，支持三种部署模式：仅云、仅边缘和云-边缘（雾）部署。
• 使用 Docker 对应用程序进行容器化，以确保在不同边缘和云节点之间具备平台独立性和一致的环境配置。
• 实现六种与雾计算相关的应用作为基准测试：基于深度学习的目标检测、文本转语音转换、文本-音频强制对齐、基于地理位置的移动游戏、物联网网关应用，以及从视频流中实时进行的人脸检测。
• 在不同目标平台上，收集所有部署模式下的性能指标，如通信延迟、计算延迟和资源利用率。
• 基准测试过程包括逐步增加并发用户数的压力测试，以评估可扩展性和响应能力。
• 所有基准测试均通过 GitHub 公开提供，并配有自动化构建和部署脚本，以确保可重现性和一致性。

实验结果

研究问题

• RQ1 如何量化雾计算相较于仅云部署的相对性能提升？
• RQ2 在云和边缘资源之间分配应用服务时，对整体应用延迟和性能有何影响？
• RQ3 当存在多个竞争的边缘节点时，哪个边缘资源最适合托管特定服务？
• RQ4 并发用户数和系统压力如何影响雾部署模型中的应用延迟？
• RQ5 哪些指标最能有效表征云-边缘连续体中雾应用的性能？

主要发现

• DeFog 成功捕获了涵盖仅云、仅边缘和云-边缘部署模式的全面性能指标目录，包括通信延迟和计算延迟。
• 该基准测试套件表明，当将对延迟敏感的工作负载卸载到边缘资源时，可实现可测量的性能提升，尤其在实时视频处理和音频转换任务中表现显著。
• 通过并发用户压力测试发现，对于带宽密集型应用，仅边缘部署在保持更高用户负载和更低延迟方面优于仅云部署。
• 该方法实现了在异构硬件平台之间的一致且可重现的比较，验证了其在跨平台性能评估中的实用性。
• DeFog 在 GitHub 上的开源可用性已促进社区采纳与扩展，支持未来针对新兴雾用例的基准测试开发。
• 局限性包括依赖 Docker 容器化，限制了在不同处理器架构间的可移植性，以及当前评估未涵盖多层雾连续体部署。