[論文レビュー] OpenEI: An Open Framework for Edge Intelligence

Xingzhou Zhang, Yifan Wang+4 more|arXiv (Cornell University)|Jun 5, 2019

IoT and Edge/Fog Computing参考文献 66被引用数 13

ひとこと要約

本論文では、リソース制約、データ共有、プラットフォーム-アルゴリズムの不一致の問題を解決することで、エッジデバイスがネイティブにAIワークロードを実行できる軽量なオープンフレームワーク、OpenEIを提案する。最適化されたディープラーニングモデル、データ共有のためのRESTful API、モジュラーなアーキテクチャを統合し、多様な応用分野におけるリアルタイムでプライバシーを守るエッジインテリジェンスを実現する。

ABSTRACT

In the last five years, edge computing has attracted tremendous attention from industry and academia due to its promise to reduce latency, save bandwidth, improve availability, and protect data privacy to keep data secure. At the same time, we have witnessed the proliferation of AI algorithms and models which accelerate the successful deployment of intelligence mainly in cloud services. These two trends, combined together, have created a new horizon: Edge Intelligence (EI). The development of EI requires much attention from both the computer systems research community and the AI community to meet these demands. However, existing computing techniques used in the cloud are not applicable to edge computing directly due to the diversity of computing sources and the distribution of data sources. We envision that there missing a framework that can be rapidly deployed on edge and enable edge AI capabilities. To address this challenge, in this paper we first present the definition and a systematic review of EI. Then, we introduce an Open Framework for Edge Intelligence (OpenEI), which is a lightweight software platform to equip edges with intelligent processing and data sharing capability. We analyze four fundamental EI techniques which are used to build OpenEI and identify several open problems based on potential research directions. Finally, four typical application scenarios enabled by OpenEI are presented.

研究の動機と目的

• 制限された計算能力、メモリ、帯域幅のため、リソース制約のあるエッジデバイスにAIモデルをデプロイする課題に対処する。
• 異種のハードウェアとデータソースを有する分散エッジノード間で、効率的なデータ共有と協調を可能にする。
• 多様なエッジプラットフォームと変動するAIアルゴリズム要件の間の不一致を、ポータブルでモジュラーなソフトウェアスタックによって解消する。
• エッジインテリジェンスアプリケーションのプロトタイピングとデプロイを加速するための標準的で拡張可能なソフトウェアフレームワークを提供する。
• 機密データをエッジに保持し、クラウド依存度を最小限に抑えることで、リアルタイムでプライバシーを守るAI処理を支援する。

提案手法

• エッジデバイスに適した小サイズのAIモデル（例：MobileNet、SqueezeNet）を最適化・デプロイできる、OpenEI内に軽量なディープラーニングパッケージマネージャーを設計する。
• 分散エッジノード間での安全で標準化されたデータ共有とサービス呼び出しを可能にするために、libeiという統一されたRESTful APIレイヤーを実装する。
• クラウド-エッジ連携メカニズムを統合し、モデルの更新と集中管理を可能にするとともに、ローカル推論機能を維持する。
• ハードウェアの非均一性を抽象化するモジュラーで拡張可能なソフトウェアスタックを構築し、多様なエッジプラットフォームへの移植性を実現する。
• モデルの圧縮と量子化技術をフレームワーク内に統合し、精度の著しい低下を伴わずにモデルサイズと計算コストを削減する。
• 動的ワークロードに対応するエッジデバイス上で、モデルのロード、実行、リソース割り当てを管理するランタイム環境を提供する。

実験結果

リサーチクエスチョン

• RQ1 制限された計算およびストレージリソースを持つエッジデバイスが、現代のディープラーニングモデルを効率的に実行するにはどうすればよいか？
• RQ2 分散エッジノード間で、安全でスケーラブルかつ相互運用可能なデータ共有と協調を実現するためのアーキテクチャパターンは何か？
• RQ3 多様なエッジプラットフォームと多様なAIアルゴリズム要件の間の不一致を、統一されたソフトウェアフレームワークがどのように緩和できるか？
• RQ4 ネットワークエッジでのリアルタイムでプライバシーを守るAI推論を実現するにあたり、主なシステムレベルの課題は何か？
• RQ5 OpenEIは、スマートホーム、医療、自動運転車両などの実世界の応用シナリオにおいて、エッジインテリジェンスのエンドツーエンドデプロイをどのように支援できるか？

主な発見

• OpenEIは、リソース制約のあるエッジデバイスに最適化されたディープラーニングモデル（例：VGG-16、MobileNet）を効果的にデプロイでき、メモリフットプリントを削減し、計算コストを低減した。
• libei APIレイヤーは、異種のエッジノード間で安全で標準化されたデータ共有とサービスオchestrationを実現し、分散環境における相互運用性を向上させた。
• クラウド-エッジ連携により、OpenEIはモデルの更新と集中学習を可能にしつつ、エッジでの低遅延でリアルタイムの推論を維持した。
• フレームワークは、スマートホーム、自動運転車両、マルチユーザーAR/VRゲーム、コネクテッドヘルスの4つの実世界のシナリオで実現可能性を示し、遅延を低減しプライバシーを向上させた。
• OpenEIは、クラウドベースの処理に依存することを減らし、デバイス内推論を可能にすることで、帯域幅の使用を削減し、データプライバシーを強化した。
• フレームワークはエッジAIにおける主要な未解決問題、すなわちモデルの圧縮、動的リソース管理、安全なデータ連携を特定・解決し、今後の研究の基盤を提供した。