[論文レビュー] A Survey on Edge Benchmarking

Blesson Varghese, Nan Wang+5 more|arXiv (Cornell University)|Apr 24, 2020

Cloud Computing and Resource Management被引用数 11

ひとこと要約

本論文は、エッジベンチマーキングの包括的サーベイを提示し、従来の密結合型システムから現代の緩く結合されたエッジ環境への進化を分析している。研究は、テスト対象のシステム、ベンチマーキング技術、品質指標、実行時間の観点から分類され、今後のエッジパフォーマンス評価および適応型システム設計のための体系的基盤を提供する。

ABSTRACT

Edge computing is the next Internet frontier that will leverage computing resources located near users, sensors, and data stores for delivering more responsive services. Thus, it is envisioned that a large-scale, geographically dispersed and resource-rich distributed system will emerge and become the backbone of the future Internet. However, given the loosely coupled nature of these complex systems, their operational conditions are expected to significantly change over time. In this context, the performance of these systems will need to be captured rapidly, referred to as benchmarking, for application deployment, resource orchestration, and adaptive decision-making. Edge benchmarking is a nascent research avenue that has started gaining momentum over the last five years. This article firstly examines articles published over the last three decades to trace the history of benchmarking from tightly coupled to loosely coupled systems. Then it systematically classifies research to identify the system under test, techniques analyzed, quality metrics, and benchmark runtime in edge benchmarking.

研究の動機と目的

• 過去30年間にわたり、密結合型システムから緩く結合されたシステムへのベンチマーキングの歴史的進化をたどること。
• テスト対象システム、技術、品質指標、ベンチマーキング実行時間の観点から、エッジベンチマーキング分野の既存研究を特定・分類すること。
• エッジベンチマーキングのための構造的分類法を確立し、アプリケーションデプロイメント、リソースオーケストレーション、適応的意思決定支援を目的とする。
• 過去5年間で顕著に成長しているがまだ初期段階にあるエッジベンチマーキング分野の研究動向を強調すること。
• エッジパフォーマンス評価の主要な次元と未解決の課題を明確化することで、今後の研究の基盤を提供すること。

提案手法

• 過去30年間に発表された学術論文を対象とした体系的文献レビューにより、ベンチマーキングパラダイムの進化をマッピングすること。
• テスト対象システム、ベンチマーキング技術、品質指標、ベンチマーキング実行時間の4つの次元に沿ってエッジベンチマーキング研究を分類すること。
• テスト対象のシステムの種類（例：エッジノード、IoTデバイス）、使用された技術（例：合成ワークロード、実世界のワークロードトレース）、パフォーマンス指標（例：レイテンシ、スループット）を分析し、エッジベンチマーキングのトレンドを特定すること。
• 異なるエッジ展開シナリオにおけるベンチマーキング実践の繰り返しパターンとギャップを同定すること。
• 発見を統合し、今後のエッジベンチマーキング研究の理解と誘導を可能にする構造的フレームワークを構築すること。

実験結果

リサーチクエスチョン

• RQ1 過去30年間で、システムベンチマーキングのパラダイムはどのように密結合型から緩く結合されたシステムへと進化したか？
• RQ2 現在のエッジベンチマーキング研究において、主にどの種類のシステムがテスト対象となっているか？
• RQ3 エッジシステムで最も一般的に使用されているベンチマーキング技術と品質指標は何か？
• RQ4 エッジベンチマーキングの研究やユースケースごとに、ベンチマーキング実行時間はどのように変動するか？
• RQ5 エッジベンチマーキング分野で未解決のまま残っている主な研究ギャップと課題は何か？

主な発見

• エッジベンチマーキングは、最近5年間で急成長しているがまだ初期段階の研究分野であり、反応性が高く分散型のエッジサービスの需要が背景にある。
• エッジベンチマーキング研究の大多数が、エッジノードやIoTデバイスをテスト対象としており、エッジコンピューティングの分散的性質を反映している。
• 合成ワークロードと実世界のアプリケーショントレースが主なベンチマーキング技術であり、実用的関連性を高めるために実世界ワークロードへの注目が高まっている。
• レイテンシとスループットが最も頻繁に使用される品質指標であり、エッジアプリケーションの低レイテンシ要件と整合している。
• ベンチマーキング実行時間には顕著なばらつきがあり、一部の研究では数秒で実行されるが、ワークロードの複雑さやシステム規模に応じて数時間にわたる研究も存在する。
• 現在の文献には明確なエッジベンチマーキング分類法が欠如しており、標準化された分類および評価フレームワークの導入が求められている。