[論文レビュー] Knowledge Distillation for Mobile Edge Computation Offloading

Haowei Chen, Liekang Zeng+2 more|arXiv (Cornell University)|Aug 7, 2020

IoT and Edge/Fog Computing被引用数 3

ひとこと要約

本稿では、知識蒸留（KD）を用いて強化された軽量な深層模倣学習（DIL）フレームワークを提案し、リアルタイムなモバイルエッジコンピューティングオフロードを実現する。オフロード意思決定をマルチラベル分類問題に変換し、大規模な教師ネットワークからコンパクトなモデルを蒸留することで、従来の手法と比較して低い推論遅延と優れた遅延性能を達成する。

ABSTRACT

Edge computation offloading allows mobile end devices to put execution of compute-intensive task on the edge servers. End devices can decide whether offload the tasks to edge servers, cloud servers or execute locally according to current network condition and devices' profile in an online manner. In this article, we propose an edge computation offloading framework based on Deep Imitation Learning (DIL) and Knowledge Distillation (KD), which assists end devices to quickly make fine-grained decisions to optimize the delay of computation tasks online. We formalize computation offloading problem into a multi-label classification problem. Training samples for our DIL model are generated in an offline manner. After model is trained, we leverage knowledge distillation to obtain a lightweight DIL model, by which we further reduce the model's inference delay. Numerical experiment shows that the offloading decisions made by our model outperforms those made by other related policies in latency metric. Also, our model has the shortest inference delay among all policies.

研究の動機と目的

• モバイルエッジ環境におけるリアルタイムで細分化された計算オフロード意思決定の課題に対処すること。
• リソース制約のあるモバイルデバイスにおけるオフロード意思決定モデルの推論遅延を低減すること。
• 軽量で実装可能なモデルを通じて、タスク完了遅延の観点からオフロードパフォーランスを向上させること。
• 模倣学習を用いて、動的ネットワークおよびデバイス状態下でのオンライン意思決定を可能にすること。

提案手法

• エッジコンピューティングオフロード問題を、教師あり学習を可能にするマルチラベル分類タスクとして定式化する。
• シミュレーションまたは履歴データを用いてオフラインで訓練データを生成し、大規模なDIL教師モデルを訓練する。
• 知識蒸留を適用して、大規模なDILモデルからより小型の軽量な学生モデルへ知識を転送する。
• 推論を高速化するよう学生モデルを最適化し、遅延を最小限に抑えつつ意思決定の正確性を保持する。
• 蒸留された軽量モデルを用いて、リソース制限のあるモバイルデバイス上でリアルタイムのオンラインオフロード意思決定を実行する。

実験結果

リサーチクエスチョン

• RQ1 深層模倣学習は、動的エッジ環境における細分化された計算オフロード意思決定を効果的にモデル化できるか？
• RQ2 知識蒸留は、オフロードパフォーマンスを損なわせることなく、推論効率をどのように向上させるか？
• RQ3 モバイルエッジオフロードにおいて、モデルサイズ、推論遅延、タスク遅延の間にはどのようなトレードオフが生じるか？
• RQ4 本手法は、従来のオフロードポリシーと比較して、遅延および推論速度の観点でどのように優れているか？

主な発見

• 提案モデルは、他の関連するオフロードポリシーと比較して、より低いタスク完了遅延を達成した。
• 蒸留された軽量モデルは、評価されたすべてのポリシーの中で最短の推論遅延を示した。
• 知識蒸留は、オフロードの意思決定正確性を保持したまま、モデルサイズを効果的に低減した。
• このフレームワークは、計算リソースが限られたモバイルデバイスに適したリアルタイムでオンラインのオフロード意思決定を可能にした。