[論文レビュー] Large Language Model (LLM)-enabled Reinforcement Learning for Wireless Network Optimization

Jie Zheng, Ruichen Zhang+6 more|arXiv (Cornell University)|Jan 15, 2026

Software-Defined Networks and 5G被引用数 0

ひとこと要約

論文は、LLMと強化学習を統合して6G無線ネットワークを最適化する枠組みを調査・開発し、UAV–衛星ネットワークにおけるサービス移行とグラフ生成のための新規なLLM対応MARLフレームワークを実証します。

ABSTRACT

Enhancing future wireless networks presents a significant challenge for networking systems due to diverse user demands and the emergence of 6G technology. While reinforcement learning (RL) is a powerful framework, it often encounters difficulties with high-dimensional state spaces and complex environments, leading to substantial computational demands, distributed intelligence, and potentially inconsistent outcomes. Large language models (LLMs), with their extensive pretrained knowledge and advanced reasoning capabilities, offer promising tools to enhance RL in optimizing 6G wireless networks. We explore RL models augmented by LLMs, emphasizing their roles and the potential benefits of their synergy in wireless network optimization. We then examine LLM-enabled RL across various protocol layers: physical, data link, network, transport, and application layers. Additionally, we propose an LLM-assisted state representation and semantic extraction to enhance the multi-agent reinforcement learning (MARL) framework. This approach is applied to service migration and request routing, as well as topology graph generation in unmanned aerial vehicle (UAV)-satellite networks. Through case studies, we demonstrate that our framework effectively performs optimization of wireless network. Finally, we outline prospective research directions for LLM-enabled RL in wireless network optimization.

研究の動機と目的

• LLMsが無線ネットワーク最適化をプロトコル層全体でどう補強できるかを評価する。
• LLMsをRLエージェント–環境パラダイムへ組み込む体系的な枠組みを提案する（特徴抽出器、報酬設計、方針解釈、意思決定）。
• UAV–衛星ネットワークにおけるサービス移行と要求ルーティングのためのLLM対応マルチエージェ RLフレームワークを開発・検証する。
• 無線ネットワークにおけるLLM対応RLのクロスレイヤ設計の課題を特定し、今後の研究方向を概説する。

提案手法

• RL内のLLMの役割を特徴抽出器、報酬設計、方針解釈、意思決定者として分類する。
• LESR（LLM-enabled state representation）と意味抽出を用いたUAV–衛星サービス移行のエンドツーエンドLLM対応MARLフレームワークを提案する。
• 動的ネットワークを導くためにプロンプトテンプレート、グラフベースの状態表現、内在的報酬、フィードバックループを用いる。
• GNN-DQNエージェント設定を用いたシミュレーションLEO衛星ネットワークでフレームワークを評価し、基準手法（貪欲な最短経路等）や非LLMモデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 無線最適化設計にどのようなLLM対応RLパラダイムを提供できるか。
• RQ2 LLM対応RLをプロトコル層全体の無線ネットワーク最適化に効果的に適用するにはどうすればよいか。
• RQ3 LLMsは状態表現、報酬設計、意思決定を支援して学習効率と性能をどう向上させるか。

主な発見

• LLMsは特徴抽出器、報酬設計、方針解釈、意思決定者として使用することで無線ネットワークのRLを強化できる。
• 無人機–衛星ネットワーク向けLLM対応MARLは基準手法より約25%のサービス移行意思決定性能を改善。
• 物理層ではLLMがチャネルダイナミクスと干渉を解釈しビームフォーミングと電力制御を改善。
• データリンク、ネットワーク、トランスポート、アプリケーション層ではLLMsが報酬形成、トポロジ生成、タスクスケジューリングの効率を向上。
• 意味抽出を取り入れたLESRベースMARLフレームワークは報酬設計のみのMARLや非LLM再帰モデルより収束が速く、平均報酬も高い。
• 将来志向の議論としてロバスト性・セキュリティ・世界モデル統合・連合学習・低オーバーヘッドLLM手法を挙げる。