[論文レビュー] AI on the Edge: Rethinking AI-based IoT Applications Using Specialized Edge Architectures

Qianlin Liang, Prashant Shenoy+1 more|arXiv (Cornell University)|Mar 27, 2020

IoT and Edge/Fog Computing参考文献 25被引用数 14

ひとこと要約

この論文は、IoTシステムにおけるAIワークロード向けに、Google Edge TPU、Intel Movidius VPU、NVIDIA Jetsonなどの専用エッジアクセラレータを評価している。実験的評価により、これらのアクセラレータは、従来のエッジおよびクラウドサーバーと比較して、パフォーマンス・パワーサービス比およびパフォーマンス・コスト比で優れていることが示され、モデル分割および圧縮によってレイテンシと帯域幅の大幅な削減が可能であるが、マルチテナントエッジクラウド展開において隔離機能を欠いている。

ABSTRACT

Edge computing has emerged as a popular paradigm for supporting mobile and IoT applications with low latency or high bandwidth needs. The attractiveness of edge computing has been further enhanced due to the recent availability of special-purpose hardware to accelerate specific compute tasks, such as deep learning inference, on edge nodes. In this paper, we experimentally compare the benefits and limitations of using specialized edge systems, built using edge accelerators, to more traditional forms of edge and cloud computing. Our experimental study using edge-based AI workloads shows that today's edge accelerators can provide comparable, and in many cases better, performance, when normalized for power or cost, than traditional edge and cloud servers. They also provide latency and bandwidth benefits for split processing, across and within tiers, when using model compression or model splitting, but require dynamic methods to determine the optimal split across tiers. We find that edge accelerators can support varying degrees of concurrency for multi-tenant inference applications, but lack isolation mechanisms necessary for edge cloud multi-tenant hosting.

研究の動機と目的

• 専用エッジアクセラレータと従来のエッジおよびクラウドコンピューティングを比較し、AIワークロードにおけるパフォーマンス、エネルギー効率、コスト効率を評価すること。
• モデル圧縮およびモデル分割を用いたスプリット処理が、デバイス・エッジ・クラウドの各層間でレイテンシと帯域幅を最適化する方法を調査すること。
• エッジクラウド環境における同時並行的なマルチテナント推論ワークロードをサポートするためのエッジアクセラレータの適性を評価すること。
• 特にメモリ、並行処理、隔離機能に関するシステムレベルのトレードオフと制限要因を特定すること。

提案手法

• Intel Movidius VPU、Google Edge TPU、NVIDIA Jetson Nano、TX2を用いた複数のエッジアクセラレータを搭載した実験的テストベッドを構築した。
• 視覚および音声処理を含むさまざまなAI推論ワークロードにおいて、パフォーマンス、消費電力、コストを測定した。
• デバイス・エッジ、エッジ・エッジ、エッジ・クラウドの各層間でのモデル圧縮およびモデル分割を実装・評価した複数のスプリット処理戦略を検討した。
• 複数のモデルを同時に実行することで並行処理のサポートを評価し、メモリ使用量およびモデルスワッピングや量子化などのランタイム最適化を分析した。
• 共有ハードウェア上での同時実行モデル間の干渉を観察することで、隔離およびセキュリティ上の制限を評価した。
• エッジアクセラレータと汎用エッジおよびクラウドサーバーを比較するため、正規化された指標（パフォーマンス・パワーサービス比、パフォーマンス・コスト比）を用いた。

実験結果

リサーチクエスチョン

• RQ1 AI推論ワークロードにおいて、エッジアクセラレータは従来のエッジおよびクラウドサーバーと比較して、パフォーマンス、電力効率、コストの観点でどのように異なるか？
• RQ2 エッジAIシステムにおいて、デバイス・エッジ、エッジ・エッジ、エッジ・クラウドの各層間でモデル圧縮およびモデル分割を用いることで得られるレイテンシおよび帯域幅の利点は何か？
• RQ3 エッジアクセラレータは、同時に複数のテナントの推論ワークロードをどの程度サポートできるか？また、メモリおよび隔離の観点から、その制限要因は何か？
• RQ4 メモリサイズ、モデル量子化、ランタイム最適化などのシステムレベル要因が、エッジアクセラレータ上での並行処理およびパフォーマンスに与える影響は何か？

主な発見

• エッジアクセラレータは、汎用エッジサーバーと比較して、パフォーマンス・パワーサービス比およびパフォーマンス・コスト比で最大10～100倍優れている。
• 階層間のモデル分割および圧縮により帯域幅使用量とレイテンシが削減されるが、その恩恵はモデルアーキテクチャおよび分割戦略に強く依存する。
• メモリが制限されたデバイスでも、ランタイム最適化（例：モデルスワッピング、量子化）により高い並行処理が可能であるが、フレームワークがメモリ最適化されている必要がある。
• エッジアクセラレータは、ハードウェアおよびソフトウェア制約に応じて、並行処理の度合いにばらつきがあるが、同時に実行されるモデル間の隔離メカニズムを欠いている。
• テナント間のハードウェア的またはソフトウェア的隔離機能がないため、マルチテナントエッジクラウド環境へのエッジアクセラレータの適用は制限される。
• モデルおよびワークロードに応じて、最適なモデル分割ポイントは顕著に異なるため、最大の恩恵を得るには動的でワークロードに適応した意思決定が必要である。