[论文解读] Knowledge Distillation for Mobile Edge Computation Offloading

Haowei Chen, Liekang Zeng+2 more|arXiv (Cornell University)|Aug 7, 2020

IoT and Edge/Fog Computing被引用 3

一句话总结

本文提出了一种通过知识蒸馏（KD）增强的轻量化深度模仿学习（DIL）框架，用于实时移动边缘计算卸载。通过将卸载决策转化为多标签分类问题，并从较大的教师网络蒸馏出一个紧凑模型，该方法在推理延迟和延迟性能方面优于现有方法。

ABSTRACT

Edge computation offloading allows mobile end devices to put execution of compute-intensive task on the edge servers. End devices can decide whether offload the tasks to edge servers, cloud servers or execute locally according to current network condition and devices' profile in an online manner. In this article, we propose an edge computation offloading framework based on Deep Imitation Learning (DIL) and Knowledge Distillation (KD), which assists end devices to quickly make fine-grained decisions to optimize the delay of computation tasks online. We formalize computation offloading problem into a multi-label classification problem. Training samples for our DIL model are generated in an offline manner. After model is trained, we leverage knowledge distillation to obtain a lightweight DIL model, by which we further reduce the model's inference delay. Numerical experiment shows that the offloading decisions made by our model outperforms those made by other related policies in latency metric. Also, our model has the shortest inference delay among all policies.

研究动机与目标

• 解决移动边缘环境中实时、细粒度计算卸载决策的挑战。
• 降低资源受限移动设备上卸载决策模型的推理延迟。
• 通过轻量化、可部署的模型提升卸载性能，降低任务完成延迟。
• 利用模仿学习实现实时在线决策，适应动态网络和设备条件。

提出的方法

• 将边缘计算卸载问题形式化为多标签分类任务，以支持监督学习。
• 使用仿真或历史数据生成离线训练数据，以训练大型DIL教师模型。
• 应用知识蒸馏，将大型DIL模型的知识迁移至更小、更轻量的教师模型。
• 优化学生模型以实现快速推理，在保持决策准确性的同时最小化延迟。
• 使用蒸馏后的轻量化模型在移动设备上实现实时、在线卸载决策。

实验结果

研究问题

• RQ1 深度模仿学习能否有效建模动态边缘环境中细粒度的计算卸载决策？
• RQ2 知识蒸馏如何在不牺牲卸载性能的前提下提升推理效率？
• RQ3 在移动边缘卸载中，模型大小、推理延迟和任务延迟之间的权衡关系如何？
• RQ4 与现有卸载策略相比，所提方法在延迟和推理速度方面表现如何？

主要发现

• 所提模型的任务完成延迟低于其他相关卸载策略。
• 蒸馏后的轻量化模型在所有评估策略中具有最短的推理延迟。
• 知识蒸馏成功减小了模型大小，同时保持了高精度的卸载决策能力。
• 该框架支持实时、在线卸载决策，适用于计算资源有限的移动设备。