[論文レビュー] A Robust Machine Learning Approach for Path Loss Prediction in 5G Networks with Nested Cross Validation

İbrahim Yazıcı, Emre Güreş|arXiv (Cornell University)|Oct 2, 2023

Millimeter-Wave Propagation and ModelingEngineering被引用数 3

ひとこと要約

本稿では、5Gネットワークにおけるパスロス予測の精度を向上させるために、ネストドクロスバリデーションを用いたロバストな機械学習フレームワークを提案する。北京の都市マクロセル環境から得た実世界のデータセットを活用し、SVR、CatBoost、XGBoost、ANN、ランダムフォレストの各モデルを評価した。XGBoost回帰が最も優れた性能を示し、MSEでは他のモデルを最大1%、MAEでは0.4%上回った。また、きめ細やかなバリデーションにより、安定した一般化性能が確保された。

ABSTRACT

The design and deployment of fifth-generation (5G) wireless networks pose significant challenges due to the increasing number of wireless devices. Path loss has a landmark importance in network performance optimization, and accurate prediction of the path loss, which characterizes the attenuation of signal power during transmission, is critical for effective network planning, coverage estimation, and optimization. In this sense, we utilize machine learning (ML) methods, which overcome conventional path loss prediction models drawbacks, for path loss prediction in a 5G network system to facilitate more accurate network planning, resource optimization, and performance improvement in wireless communication systems. To this end, we utilize a novel approach, nested cross validation scheme, with ML to prevent overfitting, thereby getting better generalization error and stable results for ML deployment. First, we acquire a publicly available dataset obtained through a comprehensive measurement campaign conducted in an urban macro-cell scenario located in Beijing, China. The dataset includes crucial information such as longitude, latitude, elevation, altitude, clutter height, and distance, which are utilized as essential features to predict the path loss in the 5G network system. We deploy Support Vector Regression (SVR), CatBoost Regression (CBR), eXtreme Gradient Boosting Regression (XGBR), Artificial Neural Network (ANN), and Random Forest (RF) methods to predict the path loss, and compare the prediction results in terms of Mean Absolute Error (MAE) and Mean Square Error (MSE). As per obtained results, XGBR outperforms the rest of the methods. It outperforms CBR with a slight performance differences by 0.4 % and 1 % in terms of MAE and MSE metrics, respectively. On the other hand, it outperforms the rest of the methods with clear performance differences.

研究の動機と目的

• 5Gネットワーク設計における正確なパスロス予測の課題に取り組み、カバレッジ最適化とリソース割り当てに不可欠な性能を向上させること。
• 従来のパスロスモデルの限界を乗り越え、機械学習を活用して精度と適応性を向上させること。
• 過学習を防ぎ、信頼性の高い一般化性能を確保するため、ネストドクロスバリデーションを用いたロバストなモデル評価戦略を実装すること。
• 実世界の5Gパスロスデータセットを用いて、SVR、CBR、XGBR、ANN、RFの複数の機械学習アルゴリズムを比較し、性能ベンチマークを構築すること。

提案手法

• 北京の都市マクロセル環境における5Gパスロスの公開データセットを用い、距離、緯度、経度、標高、クラッター高さなどの地理的・地形的・伝搬特性を含む。
• 過学習を最小限に抑え、一般化性能の安定性を高めるために、ネストドクロスバリデーションを適用し、ハイパーパramータを体系的に最適化し、モデル性能を評価した。
• サポートベクターレグレッション（SVR）、CatBoostレグレッション（CBR）、eXtreme Gradient Boosting レグレッション（XGBR）、アーティフィシャルニューラルネットワーク（ANN）、ランダムフォレスト（RF）の5つの回帰モデルを訓練・比較した。
• 主な指標として平均絶対誤差（MAE）と平均二乗誤差（MSE）を用い、モデル性能を定量的に評価した。
• ネストドクロスバリデーションフレームワークにより、ハイパーパramータ選択と性能評価が独立したデータ分割で行われ、信頼性が向上した。

実験結果

リサーチクエスチョン

• RQ1 実世界の測定データを用いた5G都市マクロセル環境において、どの機械学習モデルが最も正確なパスロス予測を実現するか？
• RQ2 ネストドクロスバリデーションは、パスロス予測タスクにおけるモデルの一般化性能を向上させ、過学習を低減するのにどのように寄与するか？
• RQ3 XGBoost、CatBoost、ランダムフォレスト、SVR、ANNの相対的な性能は、多様な環境的要因を考慮してどのように異なるか？
• RQ4 ネストドクロスバリデーションによるロバストなハイパーパramータチューニングは、異なるデータ分割においてより安定的かつ信頼性の高いモデル性能を実現できるか？
• RQ5 距離、標高、クラッター高さなどの環境的要因は、5Gネットワークにおけるパスロス予測精度にどのように影響を与えるか？

主な発見

• XGBoostレグレッション（XGBR）は、全評価モデルの中で最小の平均絶対誤差（MAE）を記録し、CatBoostレグレッションを0.4%上回った。
• XGBRは最小の平均二乗誤差（MSE）を記録し、CatBoostを1%上回り、全体的な予測精度が優れていた。
• ネストドクロスバリデーションアプローチにより、過学習が顕著に低減され、異なるデータ分割においてもモデルの安定性が向上した。
• テストされたモデルの中で、XGBRはMAEおよびMSEの両指標において最も一貫性のある性能を示し、5Gパスロス予測において最もロバストな選択肢であった。
• 距離、緯度、経度、標高、クラッター高さといった地理的・環境的特徴の活用により、単純なモデルと比較して予測精度が顕著に向上した。