[论文解读] Distributed Heteromodal Split Learning for Vision Aided mmWave Received Power Prediction

Yusuke Koda, Jihong Park+4 more|arXiv (Cornell University)|Jul 16, 2020

Millimeter-Wave Propagation and Modeling参考文献 45被引用 6

一句话总结

该论文提出 HetSLAgg，一种分布式异模态分割学习框架，通过融合来自多个摄像头的毫米波射频（mmWave RF）信号与视觉数据，实现高精度的接收功率预测，同时保护隐私。通过将图像插值任务卸载至基站（BS），并采用流形混合（manifold mixup）与线性特征聚合技术，相比基线方法，通信与能耗成本降低20%以上，精度损失不足1%，相较于仅使用RF信号的方法，误差降低44%。

ABSTRACT

The goal of this work is the accurate prediction of millimeter-wave received power leveraging both radio frequency (RF) signals and heterogeneous visual data from multiple distributed cameras, in a communication and energy-efficient manner while preserving data privacy. To this end, firstly focusing on data privacy, we propose heteromodal split learning with feature aggregation (HetSLAgg) that splits neural network (NN) models into camera-side and base station (BS)-side segments. The BS-side NN segment fuses RF signals and uploaded image features without collecting raw images. However, the usage of multiple visual data leads to an increase in NN input dimensions, which gives rise to additional communication and energy costs. To overcome additional communication and energy costs due to image interpolation to blend different frame rates, we propose a novel BS-side manifold mixup technique that offloads the interpolation operations from cameras to a BS. Subsequently, we confront energy costs for operating a larger size of the BS- side NN segment due to concatenating image features across cameras and propose an energy-efficient aggregation method. This is done via a linear combination of image features instead of concatenating them, where the NN size is independent of the number of cameras. Comprehensive test-bed experiments with measured channels demonstrate that HetSLAgg reduces the prediction error by 44% compared to a baseline leveraging only RF received power. Moreover, the experiments show that the designed HetSLAgg achieves over 20% gains in terms of communication and energy cost reduction compared to several baseline designs within at most 1% of accuracy loss.

研究动机与目标

• 解决在频繁发生视 Line-of-Sight（LoS）/非视 Line-of-Sight（NLoS）切换的动态环境中，实现高精度毫米波接收功率预测的挑战。
• 克服仅使用RF信号的局限性，后者缺乏检测遮挡移动性的特征。
• 在保护数据隐私的前提下，实现异构视觉数据（RGB-D相机）与RF信号的通信与能效高效融合。
• 降低因多摄像头视觉数据帧率与视场角差异而引入的通信与能耗开销。
• 设计可扩展的基站侧神经网络，避免在摄像头数量增加时性能下降与能耗上升。

提出的方法

• 提出 HetSLAgg，一种分割学习框架，将神经网络划分为摄像头侧与基站（BS）侧两部分，通过仅传输隐藏层激活值而非原始图像，实现数据隐私保护。
• 在基站侧引入流形混合（manifold mixup），将图像插值任务从摄像头卸载至基站，实现对异构帧率的兼容性，同时不增加摄像头侧的计算或通信负载。
• 提出一种线性特征聚合方法（MmixAgg），通过加权线性组合而非拼接方式，将多摄像头的图像特征进行融合，使基站侧网络的输入维度保持恒定，与摄像头数量无关。
• 采用两阶段神经网络架构：摄像头侧网络从RF与视觉数据中提取特征，基站侧网络融合这些特征并预测接收功率。
• 通过在基站侧组合RF信号特征与图像特征激活值实现特征级融合，避免原始数据传输，保护隐私。
• 通过在特征聚合中控制维度，最小化基站侧全连接层中的参数数量与内存访问次数，实现能效优化。

实验结果

研究问题

• RQ1 如何通过融合来自多个分布式摄像头的RF信号与异构视觉数据，更准确地预测毫米波接收功率？
• RQ2 在集成多模态、异构视觉数据时，通信效率、能耗与预测精度之间的权衡关系如何？
• RQ3 如何在将视觉数据从分布式摄像头传输至中心基站时保护数据隐私？
• RQ4 哪些技术可降低因摄像头帧率不同而带来的视觉数据插值相关通信与能耗成本？
• RQ5 可扩展的特征聚合方法能否防止基站神经网络在摄像头数量增加时出现规模增长与能耗上升？

主要发现

• 与仅使用RF接收功率的基线相比，HetSLAgg 将预测误差降低了44%。
• 所提出的基于流形混合的插值方法相比基线设计，通信与能耗成本降低20%以上，精度损失不足1%。
• 线性特征聚合方法（MmixAgg）降低了基站侧全连接层的输入维度，从而在不显著降低精度的前提下，降低了基站的功耗。
• 实验表明，MmixAgg 的传输延迟与功耗均低于基线方法，尤其对低帧率摄像头更具优势，因其计算负载更低。
• 该方法在融合具有不同视场角与帧率的摄像头数据时仍保持高预测精度，展现出对数据异构性的强鲁棒性。
• 该框架具备可扩展性与能效优势，基站侧模型大小与摄像头数量无关，适用于大规模多摄像头毫米波系统部署。