[论文解读] Mobile Augmented Reality with Federated Learning in the Metaverse

Xinyu Zhou, Jun Zhao|arXiv (Cornell University)|Dec 16, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出了一种增强联邦学习（FL）的移动增强现实（MAR）系统，用于元宇宙，实现在移动设备上隐私保护、协作式的物体检测。通过联合优化通信资源、计算能力和图像分辨率，该框架在提升模型准确率的同时，降低了延迟和能耗，在资源受限场景下，案例研究显示，与FDMA相比，NOMA表现出更优的性能。

ABSTRACT

The Metaverse is deemed the next evolution of the Internet and has received much attention recently. Metaverse applications via mobile augmented reality (MAR) require rapid and accurate object detection to mix digital data with the real world. As mobile devices evolve, their computational capabilities are increasing, and thus their computational resources can be leveraged to train machine learning models. In light of the increasing concerns of user privacy and data security, federated learning (FL) has become a promising distributed learning framework for privacy-preserving analytics. In this article, FL and MAR are brought together in the Metaverse. We discuss the necessity and rationality of the combination of FL and MAR. The prospective technologies that support FL and MAR in the Metaverse are also discussed. In addition, existing challenges that prevent the fulfillment of FL and MAR in the Metaverse and several application scenarios are presented. Finally, three case studies of Metaverse FL-MAR systems are demonstrated.

研究动机与目标

• 通过利用联邦学习，解决元宇宙中移动AR应用面临的隐私和数据安全挑战。
• 克服由于数据集小、非独立同分布（non-IID）和不平衡导致移动设备上本地模型训练的局限性。
• 通过联合管理通信和计算资源（带宽、功率、CPU频率、分辨率）优化系统性能，以最小化延迟和能耗。
• 在不同资源约束和优化权重下，评估并比较FDMA和NOMA增强的FL-MAR系统。
• 研究数据分布（非独立同分布、不平衡）和图像分辨率对MAR应用中模型准确率的影响。

提出的方法

• 将联邦学习集成到移动AR系统中，以在不传输原始用户数据的情况下训练共享的物体检测模型。
• 设计一种联合优化框架，分配传输功率、带宽、CPU频率和视频帧分辨率，以平衡延迟、能耗和准确率。
• 利用带权重的和优化方法，通过参数 $w_1$（延迟）和 $w_2$（能耗）建模资源分配中的权衡。
• 实现两种系统架构：FDMA增强型和NOMA增强型，以在不同信道资源条件下比较性能。
• 应用最先进的联邦学习算法，并使用卷积神经网络（CNNs，MNIST、CIFAR-10）和基于YOLO的模型（COCO）完成图像分类和物体检测任务。
• 通过在不同数据分布（非独立同分布、不平衡）和图像分辨率下进行仿真，评估在真实MAR条件下模型的性能。

实验结果

研究问题

• RQ1 联邦学习如何在元宇宙的移动AR应用中提升隐私保护和可扩展性？
• RQ2 在移动资源受限条件下，FL-MAR系统中延迟、能耗和模型准确率之间的最优权衡是什么？
• RQ3 在元宇宙的FL-MAR系统中，FDMA和NOMA信道接入方案在性能上如何比较？
• RQ4 非独立同分布和不平衡的数据分布在多大程度上会降低FL-MAR系统的模型准确率？
• RQ5 图像分辨率如何影响FL-MAR系统在物体检测和分类任务中的模型性能？

主要发现

• 在信道资源有限的情况下，NOMA增强的FL-MAR系统在总能耗和系统效率方面优于FDMA增强的系统。
• 当信道资源充足时，优化后的FDMA可实现与NOMA相当的性能，从而在资源丰富的环境中降低了对复杂NOMA实现的需求。
• 贪婪资源分配策略在最小化延迟方面表现最佳，但其能耗高于随机或优化策略。
• 非独立同分布（non-IID）数据分布对模型准确率的负面影响大于数据不平衡，尤其在MNIST和CIFAR-10数据集中表现更明显。
• 更高的图像分辨率可提升模型准确率，且对CIFAR-10等复杂数据集的影响比对MNIST更显著。
• 在COCO数据集上，将分辨率从 $160^2$ 像素提升至 $640^2$ 像素，可显著提高平均精度均值（mAP），证明了分辨率在实时AR应用中的重要性。