[논문 리뷰] SymbXRL: Symbolic Explainable Deep Reinforcement Learning for Mobile Networks

Abhishek Duttagupta, MohammadErfan Jabbari외 3명|arXiv (Cornell University)|2026. 01. 29.

Explainable Artificial Intelligence (XAI)인용 수 0

한 줄 요약

SYMBXRL은 모바일 네트워크에서 DRL 에이전트에 대해 사람에게 해석 가능한 설명을 생성하기 위해 First-Order Logic를 사용하는 상징적 설명 가능한 RL 프레임워크를 개발하고 성능 향상을 위한 Intent-based Action Steering을 가능하게 한다.

ABSTRACT

The operation of future 6th-generation (6G) mobile networks will increasingly rely on the ability of deep reinforcement learning (DRL) to optimize network decisions in real-time. DRL yields demonstrated efficacy in various resource allocation problems, such as joint decisions on user scheduling and antenna allocation or simultaneous control of computing resources and modulation. However, trained DRL agents are closed-boxes and inherently difficult to explain, which hinders their adoption in production settings. In this paper, we make a step towards removing this critical barrier by presenting SymbXRL, a novel technique for explainable reinforcement learning (XRL) that synthesizes human-interpretable explanations for DRL agents. SymbXRL leverages symbolic AI to produce explanations where key concepts and their relationships are described via intuitive symbols and rules; coupling such a representation with logical reasoning exposes the decision process of DRL agents and offers more comprehensible descriptions of their behaviors compared to existing approaches. We validate SymbXRL in practical network management use cases supported by DRL, proving that it not only improves the semantics of the explanations but also paves the way for explicit agent control: for instance, it enables intent-based programmatic action steering that improves by 12% the median cumulative reward over a pure DRL solution.

연구 동기 및 목표

• 복합적인 6G/모바일 네트워크에서 해석 가능한 DRL의 필요성을 동기 부여하고 DRL 결정의 불투명성을 해결한다.
• First-Order Logic를 사용하여 에이전트의 상태와 행동을 표현하는 기호 AI 기반 설명기인 SYMBXRL을 제안한다.
• 상징적 설명이 더 해석 가능하다는 것을 보여주고 Intent-based Action Steering (IAS)를 통해 제어 가능한 정책을 가능하게 할 수 있다.
• IAS를 통해 두 가지 DRL 활용 사례(네트워크 슬라이싱/스케줄링 및 Massive MIMO 스케줄링)에서 누적 보상 및 운영 제약의 개선을 선보인다.

제안 방법

• First-Order Logic 용어를 사용하여 DRL 상태와 행동의 기호 표현을 정의한다.
• 지식 그래프로서의 설명을 생성하고 기호 상태-행동 매핑을 데이터베이스에 저장한다.
• 확률적 분석 및 KG 분석을 사용하여 에이전트 의사결정 및 동작을 분석한다.
• FOL로 표현된 고수준 의도를 사용하여 의사결정을 조종하기 위한 Intent-based Action Steering을 도입한다.
• IAS 기반 개선을 기본 DRL 및 METIS 기준과 비교한다.
• 두 가지 DRL 활용 사례를 보여준다: gNB의 네트워크 슬라이싱/스케줄링 및 그룹 기반 행동을 갖는 Massive MIMO 스케줄링.

실험 결과

연구 질문

• RQ1 모바일 네트워크 관리에서 DRL 의사결정을 인간이 해석할 수 있는 기호 설명으로 어떻게 번역할 수 있는가?
• RQ2 First-Order Logic 기반의 기호 표현이 기존 XRL 방법(EXPLORA, METIS 등)보다 설명 가능성을 높이는가?
• RQ3 기호 설명이 성능 저하 없이 에이전트 행동을 조정하기 위한 Intent-based Action Steering을 가능하게 할 수 있는가?
• RQ4 다양한 네트워크 관리 작업에서 누적 보상 및 학습 효율성 측면에서 IAS가 달성하는 성능 향상은 무엇인가?
• RQ5 설명 및 조종 정책이 서로 다른 DRL 아키텍처(SAC, DQN 등)와 네트워크 시나리오(슬라이싱 대 Massive MIMO)에서 견고한가?

주요 결과

• SYMBXRL은 최첨단 방법과 비교하여 해석 가능성을 향상시키는 사람에게 읽기 쉬운 기호 설명을 제공한다.
• 기호 표현은 누적 보상을 개선하고 운영 제약을 강제하는 유연한 IAS 정책을 가능하게 한다.
• 하나의 활용 사례에서 IAS가 순수 DRL 기준선 대비 중앙값 누적 보상의 중앙값에서 12% 향상을 달성한다.
• 실험에서 SYMBXRL의 IAS는 baseline 에이전트 대비 중앙값 누적 보상의 11.76% 향상을 보였고 METIS(0.07% 이득)보다 우수했다.
• IAS는 과거 경험을 바탕으로 조기 개입 및 행동 조종을 용이하게 하여 제한된 추가 데이터로도 성능을 향상시킨다.