[論文レビュー] ScissionLite: Accelerating Distributed Deep Neural Networks Using Transfer Layer

Hyunho Ahn, Munkyu Lee+2 more|arXiv (Cornell University)|May 5, 2021

Advanced Neural Network Applications被引用数 4

ひとこと要約

ScissionLite は、DNN モデルの最適スライシングポイントの間に軽量でトラフィックに配慮した転送層（TL）を挿入することで、産業用インターネット（IIoT）における分散型ディープニューラルネットワーク（DNN）推論を加速する包括的フレームワークである。TL は、IIoT デバイスで特徴マップを圧縮し、エッジで再構築するダウン/アップサンプリングネットワークを用いることで、ネットワークトラフィックを削減しつつ、精度の損失を最小限に抑え、ローカル推論に比べて最大 16 倍の遅延削減と、最先端の手法に比べて 2.8 倍の高速化を達成する。

ABSTRACT

Industrial Internet of Things (IIoT) applications can benefit from leveraging edge computing. For example, applications underpinned by deep neural networks (DNN) models can be sliced and distributed across the IIoT device and the edge of the network for improving the overall performance of inference and for enhancing privacy of the input data, such as industrial product images. However, low network performance between IIoT devices and the edge is often a bottleneck. In this study, we develop ScissionLite, a holistic framework for accelerating distributed DNN inference using the Transfer Layer (TL). The TL is a traffic-aware layer inserted between the optimal slicing point of a DNN model slice in order to decrease the outbound network traffic without a significant accuracy drop. For the TL, we implement a new lightweight down/upsampling network for performance-limited IIoT devices. In ScissionLite, we develop ScissionTL, the Preprocessor, and the Offloader for end-to-end activities for deploying DNN slices with the TL. They decide the optimal slicing point of the DNN, prepare pre-trained DNN slices including the TL, and execute the DNN slices on an IIoT device and the edge. Employing the TL for the sliced DNN models has a negligible overhead. ScissionLite improves the inference latency by up to 16 and 2.8 times when compared to execution on the local device and an existing state-of-the-art model slicing approach respectively.

研究の動機と目的

• 分散型 DNN 推論における IIoT ネットワークの制限されたアップリンク帯域幅によるボトルネックを解消すること。
• 推論精度を著しく低下させることなく、IIoT デバイスとエッジサーバー間のデータ転送を削減すること。
• 計算リソースが制限された IIoT デバイスに適した、トラフィックに配慮した軽量なソリューションを開発すること。
• 新しい転送層を介して動的なトラフィック削減を実現する、エンドツーエンドのモデルスライシング最適化を可能にすること。
• 実際の生産環境用 DNN と現実的なネットワーク条件の下で、フレームワークの有効性を検証すること。

提案手法

• DNN スライスの間に、トラフィックに配慮したコンponent としての転送層（TL）を導入し、特徴マップの圧縮と復元を実施する。
• 計算負荷が低い IIoT デバイスに最適化された、軽量なダウン/アップサンプリングニューラルネットワークを TL として設計する。
• TL を考慮したトラフィック削減を反映してスライシングポイントを再最適化する、Scission ベースのツールである ScissionTL を開発する。
• SGD を用いた微調整により、TL を含む DNN スライス（TLModel）を生成・再トレーニングするためのプレプロセッサを採用する。
• 遅延を最小限に抑えるために、DNN スライスを IIoT デバイスとエッジに展開するオフローダーを採用する。
• さまざまなネットワーク条件下での最適スライシングポイントを特定するため、デバイス、エッジ、クラウドでの実地ベンチマークを実施する。

実験結果

リサーチクエスチョン

• RQ1 軽量で統合された転送層は、精度の著しい低下を伴わずに、分散型 DNN 推論におけるデータ転送量を削減できるか？
• RQ2 リソースが制限された IIoT 環境において、TL の導入が最適スライシングポイントの選定にどのように影響を与えるか？
• RQ3 ローカル実行および既存のモデルスライシング手法と比較して、TL は推論遅延をどの程度改善するか？
• RQ4 実際のネットワーク条件下で、大規模な生産用 DNN に適用した場合、TL は許容できる精度を維持できるか？
• RQ5 異なる DNN アーキテクチャおよび帯域幅の環境において、このフレームワークは一般化可能か？

主な発見

• ScissionLite は、IIoT デバイスでのローカル実行に比べて、推論遅延を最大 16 倍短縮する。
• 同じ条件下で、最先端のモデルスライシング手法に比べて 2.8 倍の高速化を達成する。
• TL による精度低下は非常に小さく、ImageNet のトップ5精度で 0.9% ～ 1.4% の範囲にとどまる。
• 転送層は計算オーバーヘッドが無視できるほど小さく、性能が制限された IIoT デバイスに適している。
• 低帯域幅（例：30 Mbps）でも安定した性能を維持しており、変動するネットワーク条件に対する耐性を示している。
• Scission に比べて、ScissionTL はデータトラフィックの削減を反映してより早いスライシングポイントを特定しており、TL のトラフィックに配慮した最適化の有効性を示している。