[論文レビュー] Communication-Computation Trade-Off in Resource-Constrained Edge Inference

Jiawei Shao, Jun Zhang|arXiv (Cornell University)|Jun 3, 2020

IoT and Edge/Fog Computing参考文献 17被引用数 6

ひとこと要約

本稿では、リソース制限のあるエッジAIにおける通信と計算のトレードオフを最適化する、デバイス-エッジ共同推論のための3段階フレームワークを提案する。モデル分割点の共同選択、段階的 pruning を用いた通信指向のモデル圧縮、およびタスク指向の学習駆動型特徴符号化を適用することで、特に帯域幅が低い（例：40 KBps未満）ような悪条件の通信環境下でも、ベースラインと比較してエンドツーエンドの遅延を最大50％まで低減する。

ABSTRACT

The recent breakthrough in artificial intelligence (AI), especially deep neural networks (DNNs), has affected every branch of science and technology. Particularly, edge AI has been envisioned as a major application scenario to provide DNN-based services at edge devices. This article presents effective methods for edge inference at resource-constrained devices. It focuses on device-edge co-inference, assisted by an edge computing server, and investigates a critical trade-off among the computation cost of the on-device model and the communication cost of forwarding the intermediate feature to the edge server. A three-step framework is proposed for the effective inference: (1) model split point selection to determine the on-device model, (2) communication-aware model compression to reduce the on-device computation and the resulting communication overhead simultaneously, and (3) task-oriented encoding of the intermediate feature to further reduce the communication overhead. Experiments demonstrate that our proposed framework achieves a better trade-off and significantly reduces the inference latency than baseline methods.

研究の動機と目的

• リソース制限のあるエッジAI推論における、デバイス内計算と通信オーバーヘッドの重要なトレードオフを解決すること。
• 純粋なデバイス内推論（リソース制限のための精度低減）およびサーバーベース推論（高遅延およびプライバシー問題）の限界を克服すること。
• エンドツーエンド推論遅延を最小化するために、モデル分割、圧縮、特徴符号化を統合的に最適化する汎用フレームワークの開発。
• 低帯域幅やノイジーなチャネルなどの通信条件が悪い状況でも効果的に動作可能にすること。
• 中間特徴が入力データよりも大きい「データ増幅」効果を、知的な符号化および圧縮技術によって軽減すること。

提案手法

• 3段階フレームワークの導入：(1) デバイスとエッジサーバー間でDNNを分割するモデル分割点の選択、(2) 通信負荷を考慮した段階的ネットワークpruningを用いたモデル圧縮による、デバイス内計算および通信負荷の低減。
• l_2-ノルムに基づくマグニチュードpruningを用い、反復的なマスク適用と重み回復を組み合わせ、徐々にスパarsityを向上させながら、圧縮モデルのファインチューニングを実施。
• 通信負荷を低減するための軽量で学習可能なエンコーダ-デコーダペアを実装し、深層ニューラルネットワークをソースコーダーとして活用。
• ノイジーなチャネル下でも追加のチャネル符号化なしに通信コストをさらに低減するため、学習駆動型の共同ソース-チャネル符号化（JSCC）を統合。
• 性能の上限としてシャノン容量限界を用い、ベースラインでは完全なチャネル符号化を仮定して比較。
• オフラインチューニングにおいてブルートフォース探索を用いてハイパーパrameter（分割点、スパarsity比、圧縮比）を最適化するが、今後のRLベースの自動化を提案。

実験結果

リサーチクエスチョン

• RQ1 リソース制限のあるエッジデバイスにおけるデバイス-エッジ共同推論において、通信と計算のトレードオフを効果的にバランスさせることは可能か？
• RQ2 通信指向のモデル圧縮は、同時にデバイス内計算と通信オーバーヘッドを低減できるか、その程度はいかほどか？
• RQ3 特にノイジーなチャネルや低帯域幅環境下で、学習駆動型特徴符号化、特に共同ソース-チャネル符号化（JSCC）は通信オーバーヘッドを顕著に低減できるか？
• RQ4 本稿で提案するフレームワークは、通信条件が悪い環境（例：40 KBps未満）下で、ベースライン手法と比較してどの程度の性能を示すか？
• RQ5 中間特徴が入力サイズを上回る「データ増幅」効果がエンドツーエンド遅延に与える影響は何か、そしてどのように軽減できるか？

主な発見

• 提案フレームワークは、特に高遅延または低帯域幅環境下で、ベースライン手法と比較してエンドツーエンド推論遅延を最大50％まで低減する。
• 低帯域幅環境（例：40 KBps未満）下では、本手法は推論遅延を約0.1秒に維持するが、ベースラインは著しい遅延増加を示す。
• 学習駆動型JSCCは、最適なソース符号化に加え完全なチャネル符号化を仮定した場合と比較して、通信オーバーヘッドをわずかに下回るか同等の水準にまで低減する。これは、入力データや元の特徴の送信よりも優れた性能を示す。
• 本フレームワークは、中間特徴が入力データよりも大きい「データ増幅」効果を、圧縮と符号化の統合によって効果的に緩和する。
• 共同ソース-チャネル符号化（JSCC）は、従来のアプローチと比較して符号化/復号化の複雑さを低減しつつ高い性能を維持しており、リアルタイムエッジアプリケーションへの応用可能性を示している。
• 分割点の調整に柔軟性を有するため、通信が制限される環境を含め、多様なエッジ環境においても堅牢な性能を発揮する。