[論文レビュー] Decentralized Low-Latency Collaborative Inference via Ensembles on the Edge

May Malka, Erez Farhan+2 more|arXiv (Cornell University)|Jun 7, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、コンパクトなDNNと共有された量子化特徴を用いて、複数のエッジデバイスが分散型で低レイテンシーな共同推論を実現する、エッジアンサンブルというフレームワークを提案する。一貫した推論ルールにより、多様なローカルモデルの予測を統合することで、中央集権的なDNNでさえも上回る顕著な精度向上を達成するが、現実的なネットワーク環境下ではわずかなレイテンシー超過にとどまる。

ABSTRACT

The success of deep neural networks (DNNs) is heavily dependent on computational resources. While DNNs are often employed on cloud servers, there is a growing need to operate DNNs on edge devices. Edge devices are typically limited in their computational resources, yet, often multiple edge devices are deployed in the same environment and can reliably communicate with each other. In this work we propose to facilitate the application of DNNs on the edge by allowing multiple users to collaborate during inference to improve their accuracy. Our mechanism, coined {\em edge ensembles}, is based on having diverse predictors at each device, which form an ensemble of models during inference. To mitigate the communication overhead, the users share quantized features, and we propose a method for aggregating multiple decisions into a single inference rule. We analyze the latency induced by edge ensembles, showing that its performance improvement comes at the cost of a minor additional delay under common assumptions on the communication network. Our experiments demonstrate that collaborative inference via edge ensembles equipped with compact DNNs substantially improves the accuracy over having each user infer locally, and can outperform using a single centralized DNN larger than all the networks in the ensemble together.

研究の動機と目的

• リソース制限のあるエッジデバイスに、計算能力が限られた状況で正確な深層ニューラルネットワーク（DNN）を導入する課題に対処すること。
• 中央集権サーバーや固定の通信トポロジーに依存せずに、エッジデバイスが共同して推論精度を向上させることを可能にすること。
• ローカル推論と、周辺デバイス間での動的協調をサポートする分散型で低レイテンシーな推論フレームワークを設計すること。
• 実際のエッジネットワークにおける共同推論によって生じるレイテンシー超過を定量化し、最小限に抑えること。
• 複数のエッジデバイスに配置されたコンパクトで多様なモデルが、単一の大規模な中央集権DNNを上回る性能を共同で達成できることを実証すること。

提案手法

• 各デバイスが異なるコンパクトなDNNを実行し、推論時に多様なアンサンブルを形成する分散型エッジアンサンブルメカニズムを採用する。
• 帯域幅を削減するため、デバイス間で送信されるのは量子化された特徴のみであり、すべての利用可能な協力者からの予測を統合する共通の推論ルールが採用される。
• 通信レイテンシーを、リンクの信頼性とチャネル容量の確率変数としてモデル化し、接続性に関する確率的仮定を組み込む。
• 理論的分析により、変動するデバイスの可用性とネットワーク状態を考慮した、エンドツーエンドの推論遅延の累積分布関数が導出される。
• リンクの可用性は確率pのベルヌーイ過程に従い、チャネル容量は累積分布関数F_Cを有する確率変数としてモデル化される。
• 推論遅延は、個々のデバイスの処理遅延と通信遅延の最大値によって上限が定められ、遅延が閾値未満に留まる確率について閉形式の式が導出される。

Figure 1 : DNN -based edge inference illustration.

実験結果

リサーチクエスチョン

• RQ1 中央集権サーバーに依存せずに、エッジデバイス間の分散型協調が推論精度を向上させられるか？
• RQ2 動的でデバイス間通信環境下における共同推論によって生じる最小限のレイテンシー超過は何か？
• RQ3 コンパクトなDNNの分散アンサンブルの性能は、単一の大規模な中央集権DNNと比べてどうなるか？
• RQ4 変動するデバイスの可用性と通信信頼性が、エンドツーエンドの推論遅延に与える影響は何か？
• RQ5 一貫した推論ルールは、独立に学習された多様なモデルの予測を、エッジデバイス上で効果的に統合できるか？

主な発見

• エッジアンサンブルは、単一の大きな中央集権DNNよりも小さな各モデルを用いても、ローカル推論に比べて顕著な精度向上を達成する。
• 共同推論フレームワークは、エッジアンサンブルに含まれるすべてのモデルの合計よりも大きな中央集権DNNと同等またはそれ以上の性能を達成する。
• 理論的分析により、現実的なネットワーク仮定下で、協力デバイスの数が増加するにつれて、所定の遅延閾値を超える確率がゼロに収束することが示された。
• 通常のネットワーク条件下では、共同推論によって生じるレイテンシー超過は最小限に抑えられ、遅延分布は処理遅延と通信遅延の最大値によって上限が定められる。
• 動的接続性にもかかわらずフレームワークは頑健であり、恒久的な通信リンクを必要とせず、ローカル推論とオンデマンドでの協調を両立できる。
• リンク信頼性とチャネル容量が良好な場合、利用可能な協力デバイスの数が増えるほど、低レイテンシー推論の確率が上昇する。

Figure 2 : Vector quantization layer of VQ-VAE.