[论文解读] A Survey on Edge Benchmarking

Blesson Varghese, Nan Wang+5 more|arXiv (Cornell University)|Apr 24, 2020

Cloud Computing and Resource Management被引用 11

一句话总结

本文对边缘计算基准测试进行了全面综述，分析了其从传统紧耦合系统到现代松耦合边缘环境的演变过程。该研究按被测系统、基准测试技术、质量度量指标和运行时长对现有研究进行分类，为未来边缘性能评估与自适应系统设计奠定了系统性基础。

ABSTRACT

Edge computing is the next Internet frontier that will leverage computing resources located near users, sensors, and data stores for delivering more responsive services. Thus, it is envisioned that a large-scale, geographically dispersed and resource-rich distributed system will emerge and become the backbone of the future Internet. However, given the loosely coupled nature of these complex systems, their operational conditions are expected to significantly change over time. In this context, the performance of these systems will need to be captured rapidly, referred to as benchmarking, for application deployment, resource orchestration, and adaptive decision-making. Edge benchmarking is a nascent research avenue that has started gaining momentum over the last five years. This article firstly examines articles published over the last three decades to trace the history of benchmarking from tightly coupled to loosely coupled systems. Then it systematically classifies research to identify the system under test, techniques analyzed, quality metrics, and benchmark runtime in edge benchmarking.

研究动机与目标

• 追溯过去三十年间，从紧耦合系统到松耦合系统基准测试范式的演变历程。
• 识别并基于被测系统、技术、质量度量指标和基准运行时长，对现有边缘计算基准测试研究进行分类。
• 建立边缘计算基准测试的结构化分类体系，以支持应用部署、资源编排和自适应决策制定。
• 突出过去五年间边缘计算基准测试研究的初步但快速增长的发展势头。
• 通过明确边缘性能评估中的关键维度与开放挑战，为未来研究奠定基础。

提出的方法

• 对过去三十年间发表的学术论文进行系统性文献综述，以映射基准测试范式的演变。
• 从四个维度对边缘计算基准测试研究进行分类：被测系统、基准测试技术、质量度量指标和基准运行时长。
• 通过分析被测系统类型（如边缘节点、物联网设备）、使用的技术（如合成工作负载、真实世界工作负载）和性能度量指标（如延迟、吞吐量），分析边缘计算基准测试的趋势。
• 识别不同边缘部署场景中基准测试实践的重复模式与空白点。
• 将研究发现整合为一个结构化框架，以理解和引导未来边缘计算基准测试研究。

实验结果

研究问题

• RQ1 过去三十年间，系统基准测试的范式如何从紧耦合系统演变为松耦合系统？
• RQ2 当前边缘计算基准测试研究中，被测系统的主导类型是什么？
• RQ3 在边缘系统中，最常使用的基准测试技术和质量度量指标有哪些？
• RQ4 不同边缘基准测试研究和应用场景中，基准运行时长如何变化？
• RQ5 当前边缘计算基准测试中仍存在哪些关键研究空白与挑战？

主要发现

• 过去五年间，边缘计算基准测试已发展为一个初步但迅速增长的研究领域，其发展动力源于对响应式、分布式边缘服务的需求。
• 大多数边缘计算基准测试研究聚焦于边缘节点和物联网设备作为被测系统，反映出边缘计算的去中心化特性。
• 合成工作负载和真实世界应用轨迹是两种主要的基准测试技术，且对真实世界工作负载的关注度正在持续上升，以增强实际相关性。
• 延迟和吞吐量是最常使用的质量度量指标，与边缘应用对低延迟的要求保持一致。
• 基准运行时长存在显著差异，部分研究在数秒内完成，而其他研究则需数小时，具体取决于工作负载复杂度和系统规模。
• 当前文献中缺乏清晰的边缘计算基准测试分类体系，表明亟需建立标准化的分类与评估框架。