[논문 리뷰] Towards Native Intelligence: 6G-LLM Trained with Reinforcement Learning from NDT Feedback

Zhuoran Xiao, Tao Tao외 5명|arXiv (Cornell University)|2026. 01. 15.

Software-Defined Networks and 5G인용 수 0

한 줄 요약

RLDTF를 소개하는 강화학습 프레임워크로, 디지털 트윈 피드백을 활용하여 6G-LLMs를 임무지향 네트워크 운영에 학습시키고, 높은 출력 정확도와 1-shot 작업 완료율 약 75%에 근접한 성과를 달성합니다.

ABSTRACT

Owing to its comprehensive understanding of upper-layer application requirements and the capabilities of practical communication systems, the 6G-LLM (6G domain large language model) offers a promising pathway toward realizing network native intelligence. Serving as the system orchestrator, the 6G-LLM drives a paradigm shift that fundamentally departs from existing rule-based approaches, which primarily rely on modular, experience-driven optimization. By contrast, the 6G-LLM substantially enhances network flexibility and adaptability. Nevertheless, current efforts to construct 6G-LLMs are constrained by their reliance on large-scale, meticulously curated, human-authored corpora, which are impractical to obtain in real-world scenarios. Moreover, purely offline-trained models lack the capacity for continual self-improvement, limiting their ability to adapt to the highly dynamic requirements of wireless communication environments. To overcome these limitations, we propose a novel training paradigm termed RLDTF (Reinforcement Learning from Digital Twin Feedback) for 6G-LLMs. This framework leverages network digital twins to generate reward signals based on orchestration outcomes, while employing reinforcement learning to guide the model toward optimal decision-making dynamically. Furthermore, we introduce a weighted token mechanism to improve output accuracy. Comprehensive experimental results demonstrate that our proposed framework significantly outperforms state-of-the-art baselines in orchestration accuracy and solution optimality.

연구 동기 및 목표

• 일반적 능력을 보존하면서 6G-LLM에 도메인 특화 지식을 주입한다.
• 디지털 트윈 피드백을 통해 오케스트레이션 출력의 반복적 개선을 가능하게 한다.
• 6G 조정 목표에 맞춘 강화 학습 프레임워크를 개발한다.
• 학습 중 가중 토큰 메커니즘으로 출력 정밀도를 향상시킨다.
• 실용적 성능 향상과 라이브 하드웨어 프로토타입을 시연한다.

제안 방법

• 통신 지식을 주입하기 위해 전체 매개변수로 도메인 특화 및 오픈 도메인 말뭉치를 혼합해 사전 학습한다.
• QoS 목표를 가진 토큰화된 작업의 고품질 시드 말뭉치를 만들기 위해 거절 샘플링을 적용한다.
• NDT 기반 QoS 보상을 사용하여 RLDTF로 디지털 트윈 피드백에서 학습한다.
• QoS 만족도와 자원 사용을 균형 있게 반영하는 도메인 특화 보상 함수를 설계한다.
• 섭동 기반 보상 민감도를 통해 토큰 중요도를 추정하고 토큰 가중치를 적용한다.
• 토큰 가중치를 가진 정책 손실, 가치 손실, 엔트로피 보너스, KL 정규화를 포함한 안정적 RL을 위한 방법을 사용한다.

실험 결과

연구 질문

• RQ1 RLDTF가 네트워크 오케스트레이션 작업에서 6G-LLM의 작업 완료율을 향상시키는가?
• RQ2 가중 토큰 메커니즘이 출력 정밀도와 효율성에 미치는 영향은 무엇인가?
• RQ3 QoS 목표를 대상으로 RLDTF가 기본 도메인 주입 모델 및 비-RL 모델과 어떻게 비교되는가?
• RQ4 실제 하드웨어 제약을 가진 엣지 배치에 이 접근법이 확장 가능한가?

주요 결과

• RLDTF는 오케스트레이션 작업에서 1-shot 작업 완료율이 약 75%에 근접하게 달성된다.
• RL 학습 중 정책 손실이 빠르게 감소하고 평균 보상이 증가하여 효과적인 학습을 시사한다.
• 고품질 양의 샘플을 사용하여 실현 가능성을 높이는 거절 샘플링이 도움되나, RLDTF가 더 높은 해답 품질과 효율성을 산출한다.
• 베이스라인과 비교해 RLDTF가 더 높은 작업 충족도와 완료된 작업의 평균 점수를 제공합니다.
• 필요를 충족하기 위해 6G-LLM이 AI 네이티브 모듈을 자율적으로 구성하는 라이브 하드웨어 프로토타입을 시연한다.