[论文解读] Deep Learning Towards Mobile Applications

Ji Wang, Bokai Cao+4 more|arXiv (Cornell University)|Sep 10, 2018

Context-Aware Activity Recognition Systems参考文献 35被引用 7

一句话总结

本文综述了在移动设备上部署深度学习所面临的挑战与进展，重点聚焦于保护用户隐私的联邦学习、高效推理技术以及真实应用场景（如用户识别和情绪检测）。研究结果表明，通过高精度（F1得分达98.97%）实现深度学习在移动设备上的有效应用，同时保护用户隐私。

ABSTRACT

Recent years have witnessed an explosive growth of mobile devices. Mobile devices are permeating every aspect of our daily lives. With the increasing usage of mobile devices and intelligent applications, there is a soaring demand for mobile applications with machine learning services. Inspired by the tremendous success achieved by deep learning in many machine learning tasks, it becomes a natural trend to push deep learning towards mobile applications. However, there exist many challenges to realize deep learning in mobile applications, including the contradiction between the miniature nature of mobile devices and the resource requirement of deep neural networks, the privacy and security concerns about individuals' data, and so on. To resolve these challenges, during the past few years, great leaps have been made in this area. In this paper, we provide an overview of the current challenges and representative achievements about pushing deep learning on mobile devices from three aspects: training with mobile data, efficient inference on mobile devices, and applications of mobile deep learning. The former two aspects cover the primary tasks of deep learning. Then, we go through our two recent applications that apply the data collected by mobile devices to inferring mood disturbance and user identification. Finally, we conclude this paper with the discussion of the future of this area.

研究动机与目标

• 解决在计算能力和电池容量有限的移动设备上部署计算资源密集型深度神经网络（DNNs）的挑战。
• 通过利用来自移动设备的去中心化数据，在不将原始数据传输至中心服务器的情况下，实现DNN的隐私保护训练。
• 开发高效的推理方法，使DNN能在内存和能效受限的移动硬件上运行。
• 利用真实用户生成的数据，展示移动深度学习的实际应用，如用户识别和情绪障碍检测。
• 识别未来移动深度学习系统在效率与隐私方面的关键研究空白。

提出的方法

• 采用联邦学习在不集中原始用户数据的情况下，在移动设备间训练DNN，从而保护隐私。
• 采用模型压缩和量化技术，减小DNN的大小和计算成本，以支持设备端推理。
• 利用移动传感器数据（如敲击按键、加速度计）作为用户识别和情绪分析的输入特征。
• 应用深度神经网络（如DNN、XGBoost、随机森林）从移动传感器流中分类用户行为模式。
• 设计了一种名为DeepService的系统，通过分析敲击动力学和运动模式，实现高精度的用户识别。
• 采用特征工程方法，分离高频与低频按键，并分析多轴加速度的相关性，以提升用户区分能力。

实验结果

研究问题

• RQ1 如何在不损害用户隐私的前提下，高效地在移动设备上训练深度学习模型？
• RQ2 哪些技术能够实现在资源受限的移动硬件上对大型DNN进行高效推理？
• RQ3 是否可以利用移动传感器数据（如敲击按键、加速度计）准确识别用户或检测情绪状态？
• RQ4 在共享移动设备环境中，随着需识别的用户数量增加，模型性能如何变化？
• RQ5 在移动应用中部署深度学习的关键挑战与未来发展方向是什么？

主要发现

• 联邦学习能够在不将原始用户数据集中存储的情况下，实现跨移动设备的有效模型训练，有效解决隐私问题。
• DeepService在基于用户移动交互模式识别用户方面，平均准确率达到99.1%，F1得分为98.97%。
• 该系统在共享场景（如夫妻共用一部手机）下仍能有效区分用户，在多类别识别任务中表现优异。
• 当扩展至10名用户时，DeepService的准确率达到87.35%，F1得分为87.69%，优于传统模型如XGBoost和随机森林。
• 随着用户数量增加，性能因共享生物特征模式的差异增大而下降，表明可扩展性与准确性之间存在权衡。
• 本文结论指出，未来移动深度学习将从基于云的推理转向设备端训练与推理，其驱动力来自移动处理器和无线技术的进步。