[論文レビュー] Towards Native Intelligence: 6G-LLM Trained with Reinforcement Learning from NDT Feedback

Zhuoran Xiao, Tao Tao+5 more|arXiv (Cornell University)|Jan 15, 2026

Software-Defined Networks and 5G被引用数 0

ひとこと要約

RLDTF を導入。デジタルツインのフィードバックを用いた強化学習フレームワークで、タスク指向のネットワーク orchestration のための 6G-LLM を訓練し、高い出力精度とほぼ 75% のワンショットタスク完了率を実現。

ABSTRACT

Owing to its comprehensive understanding of upper-layer application requirements and the capabilities of practical communication systems, the 6G-LLM (6G domain large language model) offers a promising pathway toward realizing network native intelligence. Serving as the system orchestrator, the 6G-LLM drives a paradigm shift that fundamentally departs from existing rule-based approaches, which primarily rely on modular, experience-driven optimization. By contrast, the 6G-LLM substantially enhances network flexibility and adaptability. Nevertheless, current efforts to construct 6G-LLMs are constrained by their reliance on large-scale, meticulously curated, human-authored corpora, which are impractical to obtain in real-world scenarios. Moreover, purely offline-trained models lack the capacity for continual self-improvement, limiting their ability to adapt to the highly dynamic requirements of wireless communication environments. To overcome these limitations, we propose a novel training paradigm termed RLDTF (Reinforcement Learning from Digital Twin Feedback) for 6G-LLMs. This framework leverages network digital twins to generate reward signals based on orchestration outcomes, while employing reinforcement learning to guide the model toward optimal decision-making dynamically. Furthermore, we introduce a weighted token mechanism to improve output accuracy. Comprehensive experimental results demonstrate that our proposed framework significantly outperforms state-of-the-art baselines in orchestration accuracy and solution optimality.

研究の動機と目的

• 6G-LLM にドメイン固有の知識を注入しつつ、一般的な能力を維持する。
• デジタルツインのフィードバックを通じて orchestration 出力を反復的に改善する。
• 6G 協調の目的に合わせた強化学習フレームワークを開発する。
• 学習中のトークン重み付け機構で出力の精度を向上させる。
• 実際の性能向上とライブハードウェアのプロトタイプを示す。

提案手法

• telecom 知識を注入するため、 domain-specific およびオープンドメインのコーパスの混合で全パラメータを事前訓練する。
• QoS 目標を持つトークン化タスクの高品質なシードコーパスを作成するリジェクションサンプリングを適用する。
• NDT ベースの QoS 報酬を用いた RLDTF（ Reinforcement Learning from Digital Twin Feedback ）で訓練する。
• QoS の満足とリソース使用を両立させるドメイン特化の報酬関数を設計する。
• 摂動ベースの報酬感度でトークンの重要性を推定し、トークン重みを適用する。
• トークン重み付けを用いたポリシー損失、値関数損失、エントロピー報酬、KL 正則化を組み合わせた安定した RL を実現する。

実験結果

リサーチクエスチョン

• RQ1 RLDTF はネットワーク orchestration タスクにおける 6G-LLMs のタスク完了率を改善するか。
• RQ2 重み付けトークン機構が出力精度と効率に与える影響は何か。
• RQ3 QoS 目標に対して、ベースラインのドメイン注入モデルや非 RL モデルと比較して RLDTF はどのように異なるか。
• RQ4 現実のハードウェア制約を伴うエッジ展開に対してこの手法はスケーラブルか。

主な発見

• RLDTF は orchestration タスクでほぼ 75% のワンショットタスク完了を達成する。
• RL 訓練中にポリシー損失が急速に低下し、平均報酬が増加して学習が効果的であることを示す。
• リジェクトサンプリングは高品質な正例を用いて実現可能性を高めるが、RLDTF はより高い解決品質と効率をもたらす。
• ベースラインと比較して、RLDTF はタスク達成度が高く、完了タスクの平均スコアも良好である。
• 6G-LLM が AI ネイティブ モジュールを自動的に構成し需要を満たすライブハードウェアプロトタイプを実証する。