[論文レビュー] SymbXRL: Symbolic Explainable Deep Reinforcement Learning for Mobile Networks

Abhishek Duttagupta, MohammadErfan Jabbari+3 more|arXiv (Cornell University)|Jan 29, 2026

Explainable Artificial Intelligence (XAI)被引用数 0

ひとこと要約

SYMBXRLはFirst-Order Logicを用いた象徴的な説明性RLフレームワークを開発し、モバイルネットワークにおけるDRLエージェントの人間に解釈しやすい説明を生成し、Intentベースのアクション steeringを可能にして性能を向上させる。

ABSTRACT

The operation of future 6th-generation (6G) mobile networks will increasingly rely on the ability of deep reinforcement learning (DRL) to optimize network decisions in real-time. DRL yields demonstrated efficacy in various resource allocation problems, such as joint decisions on user scheduling and antenna allocation or simultaneous control of computing resources and modulation. However, trained DRL agents are closed-boxes and inherently difficult to explain, which hinders their adoption in production settings. In this paper, we make a step towards removing this critical barrier by presenting SymbXRL, a novel technique for explainable reinforcement learning (XRL) that synthesizes human-interpretable explanations for DRL agents. SymbXRL leverages symbolic AI to produce explanations where key concepts and their relationships are described via intuitive symbols and rules; coupling such a representation with logical reasoning exposes the decision process of DRL agents and offers more comprehensible descriptions of their behaviors compared to existing approaches. We validate SymbXRL in practical network management use cases supported by DRL, proving that it not only improves the semantics of the explanations but also paves the way for explicit agent control: for instance, it enables intent-based programmatic action steering that improves by 12% the median cumulative reward over a pure DRL solution.

研究の動機と目的

• 複雑な6G/モバイルネットワークにおける解釈可能なDRLの必要性を動機付け、DRL判断の不透明さに対処する。
• エージェントの状態と行動をFirst-Order Logicで表現する象徴的AIベースの説明器であるSYMBXRLを提案する。
• 象徴的説明がより解釈可能であり、Intentベースのアクション・ステアリング（IAS）を介した制御可能な方針を可能にすることを示す。
• IASを用いた2つのDRL用途（ネットワークスライシング/スケジューリングとMassive MIMOスケジューリング）で累積報酬と運用制約の改善を示す。

提案手法

• First-Order Logicの用語でDRLの状態と行動の象徴表現を定義する。
• 象徴的な状態-行動マッピングをデータベースに保存し、説明をナレッジグラフとして生成する。
• 確率論的およびKG分析を用いてエージェントの意思決定と挙動を分析する。
• 高レベルのFOLで表現された意図を用いて意思決定を誘導するIntent-based Action Steeringを導入する。
• IASによる改善をベースラインDRLおよびMETISベースラインと比較する。
• 2つのDRL用途を実証する：gNB上のネットワークスライシング/スケジューリングとグループベースのアクションを用いたMassive MIMOスケジューリング。

実験結果

リサーチクエスチョン

• RQ1 モバイルネットワーク管理におけるDRLの意思決定を、人が解釈できる象徴的説明へどう翻訳できるか？
• RQ2 First-Order Logicベースの象徴表現は、既存のXRL手法（例：EXPLORA、METIS）より説明性を改善するか？
• RQ3 象徴的な説明はIntnetベースのアクションステアリングを可能にし、性能を損なうことなくエージェント行動を誘導できるか？
• RQ4 IASは累積報酬と学習効率の点で、さまざまなネットワーク管理タスクにおいてどの程度の性能向上を達成するか？
• RQ5 説明とステアリングポリシーは、異なるDRLアーキテクチャ（例：SAC、DQN）およびネットワークシナリオ（スライシング vs Massive MIMO）で頑健か？

主な発見

• SYMBXRLは最先端手法と比較して解釈性を高める人間に読める象徴的説明を提供する。
• 象徴的表現は柔軟なIASポリシーを可能にし、累積報酬を改善し運用制約を強化する。
• IASは一つの用途で純粋なDRLベースラインより中央値で12%の累積報酬改善を達成。
• 実験では、SYMBXRLのIASはベースラインエージェントより中央値で11.76%の累積報酬改善を達成し、METIS（0.07%の利益）を上回る。
• IASは過去の経験に基づく早期介入とアクションステアリングを促進し、追加データが少なくても性能を改善する。