[論文レビュー] DeFog: Fog Computing Benchmarks

Jonathan McChesney, Nan Wang+3 more|arXiv (Cornell University)|Jul 25, 2019

IoT and Edge/Fog Computing参考文献 32被引用数 9

ひとこと要約

DeFog は、クラウド専用、エッジ専用、クラウドエッジ統合の3つのデプロイメントモードを用いて、6つの遅延に敏感なストリームベースのワークロードを用いて、ファイアーコンピューティングにおけるアプリケーションのパフォーマンスを評価する、プラットフォームに依存しないベンチマークスイートである。自動化されたコンテナ化デプロイメントとメトリクス収集を通じて、標準的で再現可能なパフォーマンス測定を可能にし、ファイアーエコシステムにおける最適なサービス配置とパフォーマンス向上の洞察を提供する。

ABSTRACT

Fog computing envisions that deploying services of an application across resources in the cloud and those located at the edge of the network may improve the overall performance of the application when compared to running the application on the cloud. However, there are currently no benchmarks that can directly compare the performance of the application across the cloud-only, edge-only and cloud-edge deployment platform to obtain any insight on performance improvement. This paper proposes DeFog, a first Fog benchmarking suite to: (i) alleviate the burden of Fog benchmarking by using a standard methodology, and (ii) facilitate the understanding of the target platform by collecting a catalogue of relevant metrics for a set of benchmarks. The current portfolio of DeFog benchmarks comprises six relevant applications conducive to using the edge. Experimental studies are carried out on multiple target platforms to demonstrate the use of DeFog for collecting metrics related to application latencies (communication and computation), for understanding the impact of stress and concurrent users on application latencies, and for understanding the performance of deploying different combination of services of an application across the cloud and edge. DeFog is available for public download (https://github.com/qub-blesson/DeFog).

研究の動機と目的

• クラウド、エッジ、ハイブリッドデプロイメントにおけるファイアーコンピューティングのパフォーマンスを評価するための標準化されたベンチマークの不足に対処すること。
• アプリケーションの遅延、リソース使用率、ストレス状態および同時負荷下でのシステム動作を測定する一貫性があり自動化された手法を提供すること。
• コンテナ化されたワークロードと標準化されたメトリクスを用いることで、ハードウェアに依存しないファイアープラットフォーム間の比較を可能にすること。
• システム開発者やベンダーが、QoS および QoE の向上を図るために、クラウドおよびエッジリソース間での最適なサービス分散を特定するのを支援すること。
• オープンソースの公開と拡張性を活用して、コミュニティ主導のファイアーベンチマーク開発を促進すること。

提案手法

• DeFog は、3つのデプロイメントモード（クラウド専用、エッジ専用、クラウドエッジ統合）をサポートする6段階のベンチマーク手法を採用している。
• Docker を用いてアプリケーションをコンテナ化することで、異なるエッジおよびクラウドノード間でプラットフォームに依存しない一貫した環境設定を実現する。
• 6つのファイアーレベルのアプリケーションがベンチマークとして実装されている：ディープラーニングベースの物体検出、音声変換のテキストから音声への変換、テキストと音声の強制同期、位置情報付きモバイルゲーム、IoTゲートウェイアプリケーション、ビデオストリームからのリアルタイム顔検出。
• 通信遅延、計算遅延、リソース使用率などのパフォーマンスメトリクスが、さまざまなターゲットプラットフォーム上で、すべてのデプロイメントモードで収集される。
• スケーラビリティと応答性を評価するため、増加する同時ユーザー数を用いたストレステストが含まれる。
• すべてのベンチマークは GitHub を通じて公開されており、再現性と一貫性を保証するための自動ビルドおよびデプロイメントスクリプトが用意されている。

実験結果

リサーチクエスチョン

• RQ1 ファイアーコンピューティングのクラウド専用デプロイメントに対する相対的なパフォーマンス向上は、どのように定量的に測定できるか？
• RQ2 クラウドおよびエッジリソース間でのアプリケーションサービスの分散が、全体のアプリケーション遅延とパフォーマンスに与える影響は何か？
• RQ3 複数の競合するエッジノードが利用可能な状況で、特定のサービスをホスティングするのに最適なエッジリソースはどれか？
• RQ4 同時ユーザー数とシステムのストレスが、ファイアーデプロイメントモデルにおけるアプリケーション遅延に与える影響は何か？
• RQ5 クラウドからエッジに至る連続体にわたるファイアーアプリケーションのパフォーマンスを特徴付けるために、最も有用なメトリクスは何か？

主な発見

• DeFog は、クラウド専用、エッジ専用、クラウドエッジ統合デプロイメントの3モードにおいて、通信遅延および計算遅延を含む包括的なパフォーマンスメトリクスのカタログを的確に捉えている。
• 遅延に敏感なワークロードがエッジリソースにオフロードされると、特にリアルタイム動画処理および音声変換タスクにおいて、測定可能なパフォーマンス向上が確認された。
• 同時ユーザー数を増やしたストレステストの結果、帯域幅集約型アプリケーションにおいて、エッジ専用デプロイメントがクラウド専用デプロイメントよりも高いユーザー負荷に耐えられ、より低い遅延を維持した。
• 異種のハードウェアプラットフォーム間でも一貫性があり再現可能な比較が可能であるため、この手法はクロスプラットフォームのパフォーマンス評価に有効であることが検証された。
• GitHub 上での DeFog のオープンソース公開により、コミュニティによる採用と拡張が進み、将来の新規ファイアーケースに向けたベンチマーク開発を支援している。
• 制限事項として、Docker コンテナ化に依存しているため、異なるプロセッサアーキテクチャ間でのポータビリティが制限されており、現在の評価ではマルチレイヤーのファイアーコンティニュームデプロイメントが除外されている。