[论文解读] Data-Importance Aware User Scheduling for Communication-Efficient Edge Machine Learning

Dongzhu Liu, Guangxu Zhu+2 more|arXiv (Cornell University)|Oct 5, 2019

Advanced MIMO Systems Optimization参考文献 43被引用 5

一句话总结

该论文提出了一种面向通信高效边缘机器学习的数据重要性感知用户调度方案，通过联合优化信道条件与数据样本信息量，加速模型收敛。通过结合信噪比（SNR）与数据不确定性（SVM通过到决策边界的距离衡量，CNN通过熵衡量），该方法利用双重多用户分集增益，在真实数据集上实现比基线方案更快的收敛速度和高达8%的准确率提升。

ABSTRACT

With the prevalence of intelligent mobile applications, edge learning is emerging as a promising technology for powering fast intelligence acquisition for edge devices from distributed data generated at the network edge. One critical task of edge learning is to efficiently utilize the limited radio resource to acquire data samples for model training at an edge server. In this paper, we develop a novel user scheduling algorithm for data acquisition in edge learning, called (data) importance-aware scheduling. A key feature of this scheduling algorithm is that it takes into account the informativeness of data samples, besides communication reliability. Specifically, the scheduling decision is based on a data importance indicator (DII), elegantly incorporating two "important" metrics from communication and learning perspectives, i.e., the signal-to-noise ratio (SNR) and data uncertainty. We first derive an explicit expression for this indicator targeting the classic classifier of support vector machine (SVM), where the uncertainty of a data sample is measured by its distance to the decision boundary. Then, the result is extended to convolutional neural networks (CNN) by replacing the distance based uncertainty measure with the entropy. As demonstrated via experiments using real datasets, the proposed importance-aware scheduling can exploit the two-fold multi-user diversity, namely the diversity in both the multiuser channels and the distributed data samples. This leads to faster model convergence than the conventional scheduling schemes that exploit only a single type of diversity.

研究动机与目标

• 为解决分布式设备上传高维数据导致的边缘学习通信瓶颈问题。
• 通过联合优化基于信道质量与数据样本信息量的用户调度，提升学习效率。
• 利用双重多用户分集增益——无线信道与分布式数据样本——实现更快的模型收敛。
• 设计一种适用于集中式与联邦边缘学习系统的可扩展调度框架。

提出的方法

• 提出一种数据重要性指标（DII），结合信噪比（SNR，反映通信可靠性）与数据不确定性（反映学习相关性）。
• 对于SVM，不确定性通过数据样本到决策边界的欧氏距离衡量。
• 对于CNN，不确定性通过预测熵近似计算，以实现高效计算。
• 调度决策优先选择DII值高的用户，平衡信道质量与数据重要性。
• 采用压缩模型进行重要性评估，以降低计算开销，尤其适用于CNN。
• 将框架扩展至支持标签信息，并在不同压缩比率下评估性能。

实验结果

研究问题

• RQ1 联合优化信道状态与数据样本信息量是否能提升边缘机器学习中的学习收敛速度？
• RQ2 通过到决策边界的距离或预测熵衡量的数据不确定性，如何影响调度性能？
• RQ3 在不牺牲学习准确率的前提下，对重要性评估采用模型压缩能在多大程度上降低计算成本？
• RQ4 与传统的仅考虑信道的调度或仅考虑数据的调度相比，所提方案在收敛速度与最终准确率方面表现如何？
• RQ5 引入标签信息是否能进一步提升重要性感知调度的性能？

主要发现

• 所提重要性感知调度通过同时利用信道与数据多样性，实现更快的模型收敛，优于传统方案。
• 在引入标签信息后，该方法相比仅考虑信道的调度准确率提升5%，相比仅考虑数据的调度准确率提升8%。
• 对于SVM，使用参数量仅为1/10的压缩评估模型仍可实现接近最优的性能，尽管准确率损失随模型准确率提升而增加。
• 对于CNN，参数量为1/5的压缩模型性能与未压缩版本相当，且在1/20压缩比率下损失仍低于50%。
• 由于深层模型具有更高的冗余性与鲁棒性，该方案在CNN中的性能增益比在SVM中更为显著。
• 即使在有限的传输预算下，该方案仍保持高效，展现出强大的可扩展性与效率。