[論文レビュー] HierTrain: Fast Hierarchical Edge AI Learning with Hybrid Parallelism in Mobile-Edge-Cloud Computing

Deyin Liu, Xu Chen+2 more|arXiv (Cornell University)|Mar 22, 2020

IoT and Edge/Fog Computing参考文献 30被引用数 6

ひとこと要約

HierTrainは、デバイス、エッジ、クラウドの各層にわたるリソースの非均一性を考慮し、適応的でハイブリッドな並列処理を用いて、モバイルエッジクラウド環境におけるDNN学習を高速化する階層的エッジAI学習フレームワークを提案する。レイヤー単位とサンプル単位のタスクスケジューリングを統合的に最適化することで、クラウドベースの手法や先行の階層的アプローチに比べ、最大6.9倍の高速化を達成する。

ABSTRACT

Nowadays, deep neural networks (DNNs) are the core enablers for many emerging edge AI applications. Conventional approaches to training DNNs are generally implemented at central servers or cloud centers for centralized learning, which is typically time-consuming and resource-demanding due to the transmission of a large amount of data samples from the device to the remote cloud. To overcome these disadvantages, we consider accelerating the learning process of DNNs on the Mobile-Edge-Cloud Computing (MECC) paradigm. In this paper, we propose HierTrain, a hierarchical edge AI learning framework, which efficiently deploys the DNN training task over the hierarchical MECC architecture. We develop a novel extit{hybrid parallelism} method, which is the key to HierTrain, to adaptively assign the DNN model layers and the data samples across the three levels of edge device, edge server and cloud center. We then formulate the problem of scheduling the DNN training tasks at both layer-granularity and sample-granularity. Solving this optimization problem enables us to achieve the minimum training time. We further implement a hardware prototype consisting of an edge device, an edge server and a cloud server, and conduct extensive experiments on it. Experimental results demonstrate that HierTrain can achieve up to 6.9x speedup compared to the cloud-based hierarchical training approach.

研究の動機と目的

• エッジデバイスからの大規模なデータ送信に起因するクラウドベースのDNN学習における高い遅延とリソースのオーバーヘッドを解消すること。
• モバイルおよびIoTデバイスの計算能力が制限されているため、完全に分散型のエッジ学習の限界を克服すること。
• デバイス、エッジサーバー、クラウドの三層構造を効果的に活用し、異種の通信および計算リソースを最適に活用すること。
• 階層的システム全体にわたるモデルレイヤーとデータサンプルの分配を統合的に最適化することで、エンドツーエンドのDNN学習時間を最小限に抑えること。
• 既存の集中型および二層構造の学習方式を凌駕する実用的でハードウェア実装可能なフレームワークを、実世界の環境で開発すること。

提案手法

• リソースの非均一性を考慮し、デバイス、エッジサーバー、クラウドの各層にDNNモデルのレイヤーとデータサンプルを動的に割り当てる、新しいハイブリッド並列処理手法を提案する。
• 総学習時間を最小化するため、モデル分割（レイヤー粒度）とデータシャーディング（サンプル粒度）の両方のタスクスケジューリングを統合的に最適化する問題を定式化する。
• 通信遅延と計算負荷モデルを最適化フレームワークに統合し、三段階のリソース間での帯域幅や処理能力の差を反映する。
• モデルレイヤーの最適な分割点と、階層的ノード間での最適なデータ配布戦略を選択する適応的スケジューリングポリシーを設計する。
• 実際のハードウェア環境での検証を目的として、1台のエッジデバイス、1台のエッジサーバー、1台のクラウドサーバーを用いた実装プロトタイプを構築する。
• 混合整数プログラミングを用いて最適化問題を解き、最適なタスクアロケーション戦略を導出する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、デバイス、エッジ、クラウドリソースの階層的構造を効果的に活用することで、モバイルエッジクラウド環境におけるDNN学習を高速化できるか？
• RQ2 DNNモデルレイヤーを分割し、データサンプルを三段階に分配する最適な方法は何か？ これにより学習時間を最小限に抑えることができるか？
• RQ3 モデル並列処理とデータ並列処理を組み合わせたハイブリッド並列処理は、純粋なモデル並列処理やデータ並列処理と比較して、エッジAIにおける学習効率をどのように向上させるか？
• RQ4 エッジとクラウド間の通信遅延が学習パフォーマンスに与える影響は何か？ また、インテリジェントなスケジューリングによってその影響をどのように軽減できるか？
• RQ5 実世界のハードウェアプロトタイプは、従来のクラウドベースおよび二層構造の学習アプローチに比べ、顕著な高速化を実証できるか？

主な発見

• HierTrainは、クラウドベースの階層的学習アプローチに比べ、DNN学習時間で最大6.9倍の高速化を達成する。
• JointDNN や JALAD といった既存手法を上回り、実ハードウェア環境での展開において優れた学習効率を示す。
• ハイブリッド並列処理戦略により、計算負荷のバランスとノード間通信オーバーヘッドの低減が図られ、学習遅延が顕著に短縮される。
• レイヤー粒度とサンプル粒度のスケジューリングを統合的に最適化することで、モバイルエッジクラウドスタック全体における異種リソースのより効率的な活用が可能になる。
• ハードウェアプロトタイプは、実世界のエッジAIワークロードにおけるHierTrainの実用的妥当性と性能向上を確認する。
• 提案されたスケジューリングポリシーは、ネットワークや計算条件の変化に適応可能であり、多様な展開環境においても安定したパフォーマンスを発揮する。