[논문 리뷰] Large Language Model (LLM)-enabled Reinforcement Learning for Wireless Network Optimization

Jie Zheng, Ruichen Zhang외 6명|arXiv (Cornell University)|2026. 01. 15.

Software-Defined Networks and 5G인용 수 0

한 줄 요약

본 논문은 LLM과 강화학습을 통합하여 6G 무선 네트워크를 최적화하기 위한 프레임워크를 조사·개발하고, UAV–위성 네트워크에서 서비스 이동 및 그래프 생성을 위한 LLM-활용 MARL 프레임워크를 제시한다.

ABSTRACT

Enhancing future wireless networks presents a significant challenge for networking systems due to diverse user demands and the emergence of 6G technology. While reinforcement learning (RL) is a powerful framework, it often encounters difficulties with high-dimensional state spaces and complex environments, leading to substantial computational demands, distributed intelligence, and potentially inconsistent outcomes. Large language models (LLMs), with their extensive pretrained knowledge and advanced reasoning capabilities, offer promising tools to enhance RL in optimizing 6G wireless networks. We explore RL models augmented by LLMs, emphasizing their roles and the potential benefits of their synergy in wireless network optimization. We then examine LLM-enabled RL across various protocol layers: physical, data link, network, transport, and application layers. Additionally, we propose an LLM-assisted state representation and semantic extraction to enhance the multi-agent reinforcement learning (MARL) framework. This approach is applied to service migration and request routing, as well as topology graph generation in unmanned aerial vehicle (UAV)-satellite networks. Through case studies, we demonstrate that our framework effectively performs optimization of wireless network. Finally, we outline prospective research directions for LLM-enabled RL in wireless network optimization.

연구 동기 및 목표

• LLMs가 프로토콜 계층 전반에 걸친 무선 네트워크 최적화를 위해 RL을 어떻게 보강할 수 있는지 평가한다.
• 특성 추출기, 보상 설계자, 정책 해석기, 의사결정자로 구성된 RL 에이전트–환경 패러다임에 LLM을 통합하기 위한 체계적인 프레임워크를 제안한다.
• UAV–위성 네트워크에서 서비스 이동 및 요청 라우팅을 위한 LLM-활용 다중 에이전트 RL 프레임워크를 개발하고 검증한다.
• 무선 네트워크에서 LLM-활용 RL의 크로스-레이어 설계 과제를 식별하고 향후 연구 방향을 제시한다.

제안 방법

• RL 내에서 LLM의 역할을 특성 추출기, 보상 설계자, 정책 해석기, 의사결정자로 분류한다.
• LESR (LLM-enabled state representation) 및 의미 추출을 이용한 UAV–위성 서비스 이동을 위한 엔드-투-엔드 LLM-활용 MARL 프레임워크를 제안한다.
• 프롬프트 템플릿, 그래프 기반 상태 표현, 내재 보상, 피드백 루프를 활용하여 동적 네트워크에서 MARL을 유도한다.
• GNN-DQN 에이전트 구성을 갖춘 시뮬레이션 LEO 위성 네트워크에서 프레임워크를 평가하고 탐욕적인 최단 경로 및 비-LLM 모델과 같은 기준과 비교한다.

실험 결과

연구 질문

• RQ1 무선 최적화 설계에 어떤 종류의 LLM-활용 RL 패러다임을 제공할 수 있는가?
• RQ2 LLM-활용 RL을 프로토콜 계층 전반에 걸친 무선 네트워크 최적화에 어떻게 효과적으로 적용할 수 있는가?
• RQ3 상태 표현, 보상 설계, 의사결정에서 LLM이 학습 효율성과 성능 향상을 위해 어떻게 도움을 줄 수 있는가?

주요 결과

• LLMs는 특성 추출기, 보상 설계자, 정책 해석기, 의사결정자로 사용될 때 무선 네트워크의 RL을 향상시킬 수 있다.
• UAV–위성 네트워크용 LLM-활용 MARL은 기준 대비 서비스 이동 의사결정 성능을 약 25% 향상시킨다.
• 물리 계층 맥락에서 LLM은 채널 동역학과 간섭 해석에 도움을 주어 빔포밍과 전력 제어를 개선한다.
• 데이터 링크, 네트워크, 전송, 응용 계층에서 LLM은 상황에 따라 보상 형성, 토폴로지 생성, 작업 스케줄링 효율성을 향상시킨다.
• 제안된 LESR 기반 MARL 프레임워크는 의미 추출과 함께 보상 설계 전용 MARL 및 비-LLM 순환 모델에 비해 수렴 속도가 빠르고 평균 보상이 더 높다.
• 향후 고찰은 강건성, 보안성, 월드-모델 통합, 연합 학습, 저오버헤드 LLM 기법을 강조한다.