[论文解读] Distributed Machine Learning on Mobile Devices: A Survey.

Renjie Gu, Shuo Yang+1 more|arXiv (Cornell University)|Sep 18, 2019

Privacy-Preserving Technologies in Data参考文献 87被引用 16

一句话总结

本综述全面概述了移动设备上的分布式机器学习，其中利用本地计算和数据训练子模型，仅共享模型更新以保护隐私并减少带宽。主要贡献在于对移动联邦学习和边缘人工智能中方法、挑战及未来方向的系统性分析。

ABSTRACT

In recent years, mobile devices have gained increasingly development with stronger computation capability and larger storage. Some of the computation-intensive machine learning and deep learning tasks can now be run on mobile devices. To take advantage of the resources available on mobile devices and preserve users' privacy, the idea of mobile distributed machine learning is proposed. It uses local hardware resources and local data to solve machine learning sub-problems on mobile devices, and only uploads computation results instead of original data to contribute to the optimization of the global model. This architecture can not only relieve computation and storage burden on servers, but also protect the users' sensitive information. Another benefit is the bandwidth reduction, as various kinds of local data can now participate in the training process without being uploaded to the server. In this paper, we provide a comprehensive survey on recent studies of mobile distributed machine learning. We survey a number of widely-used mobile distributed machine learning methods. We also present an in-depth discussion on the challenges and future directions in this area. We believe that this survey can demonstrate a clear overview of mobile distributed machine learning and provide guidelines on applying mobile distributed machine learning to real applications.

研究动机与目标

• 提供移动设备上分布式机器学习最新进展的全面综述。
• 分析广泛使用的移动分布式机器学习方法及其系统级设计。
• 识别在移动边缘学习中可扩展性、通信效率和隐私保护方面面临的关键挑战。
• 概述实现移动分布式学习系统在实际中稳健部署的未来研究方向。

提出的方法

• 本文综述了现有利用本地设备资源进行训练而非依赖集中式数据收集的移动分布式机器学习框架。
• 强调联邦学习作为核心范式，其中本地模型在设备上训练，仅传输模型更新（而非原始数据）至中央服务器。
• 通过将训练工作负载分布在移动设备上，减轻了服务器端的计算和存储负载。
• 通过最小化数据传输，提升了通信效率，仅从设备向服务器发送梯度或模型参数。
• 评估了多种优化技术，如模型压缩、量化和自适应聚合，以提高训练效率。
• 讨论了系统级考量，包括设备异构性、非独立同分布（non-IID）数据分布以及客户端参与的动态性。

实验结果

研究问题

• RQ1 如何在保护用户数据隐私的同时，高效地在移动设备上训练机器学习模型？
• RQ2 在多样化移动设备上扩展分布式学习时，系统和算法层面面临哪些关键挑战？
• RQ3 如何在不损害模型准确性的前提下，最小化移动分布式学习中的通信开销？
• RQ4 在移动边缘学习环境中，模型收敛性、训练速度和资源使用之间存在哪些权衡？
• RQ5 为实现移动分布式机器学习在实际中的大规模部署，未来需要哪些研究方向？

主要发现

• 通过仅传输模型更新而非原始数据，移动分布式机器学习显著减少了带宽使用。
• 该方法通过确保敏感数据永远不离开设备，增强了用户隐私保护。
• 联邦学习框架能够有效在异构移动设备上对非独立同分布（non-IID）数据进行模型训练。
• 诸如模型量化和压缩等技术有助于降低通信成本，并提升资源受限设备上的训练效率。
• 尽管已取得进展，但在处理设备异构性、在部分客户端参与的情况下确保收敛性以及维持模型准确性方面仍存在挑战。
• 综述指出，需要更稳健的系统级解决方案，以支持移动分布式学习在实际中的部署。