[论文解读] Convolutional Mixture Density Recurrent Neural Network for Predicting User Location with WiFi Fingerprints

Weizhu Qian, Fabrice Lauri+1 more|arXiv (Cornell University)|Nov 21, 2019

Indoor and Outdoor Localization Technologies参考文献 20被引用 8

一句话总结

该论文提出了一种新颖的混合深度学习模型——卷积混合密度循环神经网络（CMDRNN），用于利用WiFi指纹实现高精度室内用户位置预测。通过结合一维CNN进行特征提取、RNN建模时间动态性，以及混合密度网络（MDN）进行概率输出预测，CMDRNN在Path 1上实现了6.25±0.80的均方根误差，在Path 2上实现了8.67±0.23的均方根误差，显著优于基线模型，达到当前最先进性能。

ABSTRACT

Predicting smartphone users activity using WiFi fingerprints has been a popular approach for indoor positioning in recent years. However, such a high dimensional time-series prediction problem can be very tricky to solve. To address this issue, we propose a novel deep learning model, the convolutional mixture density recurrent neural network (CMDRNN), which combines the strengths of convolutional neural networks, recurrent neural networks and mixture density networks. In our model, the CNN sub-model is employed to detect the feature of the high dimensional input, the RNN sub-model is utilized to capture the time dependency and the MDN sub-model is for predicting the final output. For validation, we conduct the experiments on the real-world dataset and the obtained results illustrate the effectiveness of our method.

研究动机与目标

• 解决基于WiFi指纹的室内定位中高维非线性时间序列预测的挑战。
• 克服传统深度学习模型使用均方误差损失函数、无法有效建模复杂信号衰落与多径效应的局限性。
• 开发一种统一的深度学习架构，集成特征提取、时间建模与概率输出预测，以提升定位精度。
• 通过直接使用CNN处理输入维度，消除对预训练自编码器的依赖。
• 在真实世界数据上评估模型，验证其在实际室内定位场景中的有效性与鲁棒性。

提出的方法

• 采用具有Sigmoid和ReLU激活函数的一维卷积神经网络（CNN），从高维WiFi RSSI向量中提取空间特征。
• 使用具有GRU、LSTM或普通RNN单元的循环神经网络（RNN），对用户轨迹随时间变化的序列依赖关系进行建模。
• 在输出端集成混合密度网络（MDN），以预测二维坐标的条件概率密度函数，而非单一的确定性输出值。
• 将MDN设计为包含30个高斯混合成分，每个成分由二维均值、方差和混合权重参数化，从而实现不确定性感知的预测。
• 使用RMSProp优化器以1e-3的学习率进行端到端训练，最小化预测混合密度的负对数似然。
• 处理长度为5的输入序列，每个输入为489维的RSSI向量，缺失接入点的信号强度以100 dBm填充。

实验结果

研究问题

• RQ1 结合CNN、RNN与MDN的混合深度学习模型是否能相比传统模型显著提升基于WiFi指纹的室内用户位置预测精度？
• RQ2 通过MDN将输出建模为概率密度函数，是否相比使用MSE损失的直接回归方法具有更好的泛化能力与不确定性估计性能？
• RQ3 RNN变体（GRU、LSTM、普通RNN）的选择如何影响CMDRNN架构在序列位置预测任务中的性能表现？
• RQ4 MDN组件中高斯混合成分的最优数量是多少，以在模型复杂度与预测精度之间实现最佳平衡？
• RQ5 CMDRNN模型是否能在无需通过自编码器进行降维预处理的情况下，依然实现卓越性能？

主要发现

• 基于GRU的CMDRNN模型在Path 1上实现了最低的均方根误差（RMSE）6.25±0.80，在Path 2上为8.67±0.23，显著优于所有基线模型。
• 与普通RNN基线模型（Path 1上RMSE为29.36±1.61）相比，CMDRNN（GRU）将RMSE降低了50%以上；与RNN+MDN模型（Path 1上RMSE为23.86±5.50）相比，降低了30%以上。
• MDN中混合成分的最优数量被确定为30，增加或减少该数量均导致更高的预测误差。
• CMDRNN显著优于CNN+RNN模型（Path 1上RMSE为34.26±3.04），表明MDN的集成对于处理非线性与不确定性至关重要。
• 基于GRU的CMDRNN在性能与训练稳定性之间实现了最佳平衡，其在多次运行中预测结果的方差最低。
• 模型能够输出完整的概率分布，从而实现更优的不确定性量化，这对动态室内环境中实际部署至关重要。