[论文解读] A Robust Machine Learning Approach for Path Loss Prediction in 5G Networks with Nested Cross Validation

İbrahim Yazıcı, Emre Güreş|arXiv (Cornell University)|Oct 2, 2023

Millimeter-Wave Propagation and ModelingEngineering被引用 3

一句话总结

本文提出了一种基于嵌套交叉验证的稳健机器学习框架，以提升5G网络中的路径损耗预测性能。通过利用来自北京的真实城市宏蜂窝数据集，评估了SVR、CatBoost、XGBoost、ANN和随机森林模型，其中XGBoost回归表现最佳，在MSE上优于其他模型最多1%，在MAE上优于0.4%，同时通过严格的验证确保了稳定的泛化能力。

ABSTRACT

The design and deployment of fifth-generation (5G) wireless networks pose significant challenges due to the increasing number of wireless devices. Path loss has a landmark importance in network performance optimization, and accurate prediction of the path loss, which characterizes the attenuation of signal power during transmission, is critical for effective network planning, coverage estimation, and optimization. In this sense, we utilize machine learning (ML) methods, which overcome conventional path loss prediction models drawbacks, for path loss prediction in a 5G network system to facilitate more accurate network planning, resource optimization, and performance improvement in wireless communication systems. To this end, we utilize a novel approach, nested cross validation scheme, with ML to prevent overfitting, thereby getting better generalization error and stable results for ML deployment. First, we acquire a publicly available dataset obtained through a comprehensive measurement campaign conducted in an urban macro-cell scenario located in Beijing, China. The dataset includes crucial information such as longitude, latitude, elevation, altitude, clutter height, and distance, which are utilized as essential features to predict the path loss in the 5G network system. We deploy Support Vector Regression (SVR), CatBoost Regression (CBR), eXtreme Gradient Boosting Regression (XGBR), Artificial Neural Network (ANN), and Random Forest (RF) methods to predict the path loss, and compare the prediction results in terms of Mean Absolute Error (MAE) and Mean Square Error (MSE). As per obtained results, XGBR outperforms the rest of the methods. It outperforms CBR with a slight performance differences by 0.4 % and 1 % in terms of MAE and MSE metrics, respectively. On the other hand, it outperforms the rest of the methods with clear performance differences.

研究动机与目标

• 为解决5G网络规划中准确路径损耗预测的挑战，该挑战对覆盖优化和资源分配至关重要。
• 通过利用机器学习克服传统路径损耗模型的局限性，以提升准确性和适应性。
• 采用嵌套交叉验证实施稳健的模型评估策略，以防止过拟合并确保可靠的泛化能力。
• 在真实世界5G路径损耗数据集上，对多种机器学习算法——SVR、CBR、XGBR、ANN和RF进行比较，以实现性能基准测试。

提出的方法

• 使用公开的北京城市宏蜂窝场景5G路径损耗数据集，包含地理、地形和传播特征，如距离、纬度、经度、高程和杂波高度。
• 应用嵌套交叉验证系统地调整超参数并评估模型性能，最大限度减少过拟合并增强泛化稳定性。
• 训练并比较五种回归模型：支持向量回归（SVR）、CatBoost回归（CBR）、极端梯度提升回归（XGBR）、人工神经网络（ANN）和随机森林（RF）。
• 使用平均绝对误差（MAE）和均方误差（MSE）作为主要指标，对模型性能进行定量评估。
• 嵌套交叉验证框架确保超参数选择与性能评估在独立的数据划分上进行，从而提高可靠性。

实验结果

研究问题

• RQ1 在使用真实世界测量数据的5G城市宏蜂窝环境中，哪种机器学习模型能提供最准确的路径损耗预测？
• RQ2 嵌套交叉验证如何提升路径损耗预测任务中的模型泛化能力并减少过拟合？
• RQ3 在不同环境特征下，XGBoost、CatBoost、随机森林、SVR和ANN在路径损耗预测中的相对性能如何？
• RQ4 通过嵌套交叉验证进行稳健的超参数调优，能否在不同数据划分上实现更稳定可靠的模型性能？
• RQ5 距离、高程和杂波高度等环境特征如何影响5G网络中路径损耗预测的准确性？

主要发现

• XGBoost回归（XGBR）在所有评估模型中实现了最低的平均绝对误差（MAE），比CatBoost回归低0.4%。
• XGBR记录了最低的均方误差（MSE），比CatBoost高出1%，表明其整体预测精度更优。
• 嵌套交叉验证方法显著减少了过拟合并增强了模型稳定性，确保了在不同数据划分上的可靠泛化能力。
• 在所测试的模型中，XGBR在MAE和MSE两个指标上均表现出最一致的性能，使其成为5G路径损耗预测中最稳健的选择。
• 与简单模型相比，使用距离、纬度、经度、高程和杂波高度等地理与环境特征显著提升了预测准确性。