[論文レビュー] Edge AIBench: Towards Comprehensive End-to-end Edge Computing Benchmarking

Tianshu Hao, Yunyou Huang+9 more|arXiv (Cornell University)|Aug 6, 2019

IoT and Edge/Fog Computing参考文献 12被引用数 6

ひとこと要約

Edge AIBench は、エッジAIのための包括的でエンドツーエンドのベンチマークスイートであり、クライアントデバイス、エッジコンピューティング、クラウドの3層にわたるワークロードを評価する。4つの実世界のシナリオ（ICU患者モニタリング、監視、スマートホーム、自動運転車両）をカバーし、プライバシーとセキュリティの懸念に対応するため、フェデレーテッドラーニングベースのテストベッドを統合。異種でデータ集約的なエッジ環境におけるシステム評価と最適化のための標準化フレームワークを提供する。

ABSTRACT

In edge computing scenarios, the distribution of data and collaboration of workloads on different layers are serious concerns for performance, privacy, and security issues. So for edge computing benchmarking, we must take an end-to-end view, considering all three layers: client-side devices, edge computing layer, and cloud servers. Unfortunately, the previous work ignores this most important point. This paper presents the BenchCouncil's coordinated e ort on edge AI benchmarks, named Edge AIBench. In total, Edge AIBench models four typical application scenarios: ICU Patient Monitor, Surveillance Camera, Smart Home, and Autonomous Vehicle with the focus on data distribution and workload collaboration on three layers. Edge AIBench is a part of the open-source AIBench project, publicly available from http://www.benchcouncil.org/AIBench/index.html. We also build an edge computing testbed with a federated learning framework to resolve performance, privacy, and security issues.

研究の動機と目的

• クライアントデバイス、エッジコンピューティング、クラウドサーバーの3層を網羅する包括的でエンドツーエンドのエッジAIベンチマークが不足している問題に対処する。
• ICUモニタリング、監視、スマートホーム、自動運転車両の4つの代表的応用シナリオを通じて、エッジAIワークロードの実世界の複雑さをモデル化する。
• エッジAIに内在するプライバシーとセキュリティの課題を克服するため、公開可能なテストベッドにフェデレーテッドラーニングフレームワークを統合する。
• エッジAIシステムにおけるパフォーマンス評価、システム最適化、クロスプラットフォーム比較を可能にする標準化されたオープンソースベンチマークスイートを提供する。

提案手法

• ICU患者モニタリング、監視カメラ、スマートホーム、自動運転車両の4つのエンドツーエンドのアプリケーションベンチマークを設計し、実世界のエッジAIワークロードを反映する。
• 各ベンチマークを、クライアントデバイスでのデータ生成、エッジレイヤーでの推論、クラウドでのモデル学習という完全なパイプラインで構造化する。
• 既存のモデルを用いてコンponentベンチマークを実装：音声認識にはDeepSpeech2、顔認識にはFaceNet、自動車のレーンマーク認識には道路標識認識モデルを採用。
• エッジデバイス（例：病院）でローカルモデルを学習し、パラメータを暗号化してクラウドに送信し、グローバルモデルの更新を計算・再配布するフェデレーテッドラーニングベースのテストベッドを構築。
• 仮想患者データなどの仮想データジェネレータを用いて、プライバシー保護型のリアルなデータ収集をテストベッドでシミュレートする。
• ベンチマークスイートをオープンソースのAIBenchプロジェクトに統合し、テストベッドを http://www.benchcouncil.org/testbed.html に公開する。

実験結果

リサーチクエスチョン

• RQ1 プライバシーを保ちながら、クライント側のデータ生成からクラウドベースの学習までをカバーするエッジAIワークロードを、どのように効果的にベンチマーク化できるか？
• RQ2 スマートホームや自動運転車両のような実世界のエッジAIアプリケーションにおける、主なパフォーマンス、レイテンシ、データ分布の課題は何か？
• RQ3 フェデレーテッドラーニングは、エッジAIベンチマークとシステム評価におけるプライバシーとセキュリティリスクをどの程度軽減できるか？
• RQ4 標準化されたオープンソースベンチマークスイートは、異種のエッジAI環境におけるシステム設計、最適化、クロスプラットフォーム比較をどのように改善できるか？

主な発見

• Edge AIBench は、クライアントデバイス、エッジコンピューティングレイヤー、クラウドサーバーをカバーする包括的でエンドツーエンドのベンチマークフレームワークを提供し、既存のエッジAIベンチマークの重要なギャップを埋めている。
• ベンチマークスイートは、ICUモニタリング、監視、スマートホーム、自動運転車両の4つの複雑な実世界シナリオをモデル化しており、それぞれが異なるデータ分布とワークロード協調パターンを持つ。
• フェデレーテッドラーニングベースのテストベッドにより、生データを共有せずにローカルモデルの更新を集約できるため、医療などの機密性の高い分野でのセキュリティが向上する。
• テストベッドは http://www.benchcouncil.org/testbed.html に公開されており、再現可能な評価とコミュニティ主導の開発を支援する。
• Edge AIBench はオープンソースのAIBenchプロジェクトに統合され、http://www.benchcouncil.org/AIBench/index.html で利用可能であり、透明性と標準化を促進する。
• ベンチマークには、既存のAIモデル（例：DeepSpeech2、FaceNet）とデータセット（例：LibriSpeech、LFW）を用いた6つのコンponentベンチマークが含まれており、関連性と再現性が保証されている。