[논문 리뷰] Graph Attention Network-based Multi-agent Reinforcement Learning for Slicing Resource Management in Dense Cellular Network

Yan Shao, Rongpeng Li외 4명|arXiv (Cornell University)|2021. 08. 11.

Software-Defined Networks and 5G인용 수 4

한 줄 요약

이 논문은 밀도 높은 5G 이동통신 네트워크에서 동적 네트워크 슬라이싱 자원 관리에 대해 그래프 어텐션 네트워크(GAT)를 강화한 다중 에이전트 강화학습(MARL) 프레임워크를 제안한다. 기지국을 에이전트로 모델링하고 GAT을 활용해 시간-공간적 종속성을 포착함으로써 기지국 간 협업을 향상시켜 기존 DQN 및 A2C와 같은 기준 DRL 방법에 비해 최대 7% 높은 시스템 유틸리티와 뛰어난 수렴 안정성을 달성한다.

ABSTRACT

Network slicing (NS) management devotes to providing various services to meet distinct requirements over the same physical communication infrastructure and allocating resources on demands. Considering a dense cellular network scenario that contains several NS over multiple base stations (BSs), it remains challenging to design a proper real-time inter-slice resource management strategy, so as to cope with frequent BS handover and satisfy the fluctuations of distinct service requirements. In this paper, we propose to formulate this challenge as a multi-agent reinforcement learning (MARL) problem in which each BS represents an agent. Then, we leverage graph attention network (GAT) to strengthen the temporal and spatial cooperation between agents. Furthermore, we incorporate GAT into deep reinforcement learning (DRL) and correspondingly design an intelligent real-time inter-slice resource management strategy. More specially, we testify the universal effectiveness of GAT for advancing DRL in the multi-agent system, by applying GAT on the top of both the value-based method deep Q-network (DQN) and a combination of policy-based and value-based method advantage actor-critic (A2C). Finally, we verify the superiority of the GAT-based MARL algorithms through extensive simulations.

연구 동기 및 목표

• 변동하는 서비스 수요와 빈번한 기지국 핸드오버가 발생하는 밀도 높은 5G 이동통신 네트워크에서 실시간 슬라이스 간 자원 관리를 해결한다.
• 기지국(BS) 간 협업을 향상시켜 시스템 전체의 자원 할당 효율성을 높이고 다양한 서비스 요구사항(eMBB, URLLC, mMTC)을 충족시킨다.
• 스펙트럼 및 컴퓨팅 자원을 네트워크 슬라이스 간에 동적으로 할당하는 확장 가능하고 적응 가능한 자원 관리 전략을 개발한다.
• 그래프 어텐션 네트워크(GAT)가 네트워크 슬라이싱을 위한 다중 에이전트 환경에서 딥 강화학습(DRL) 성능을 향상시키는 데 효과적인지 검증한다.

제안 방법

• 각 기지국(BS)을 독립된 에이전트로 간주하여 네트워크 슬라이싱 자원 관리 문제를 다중 에이전트 강화학습(MARL) 문제로 수식화한다.
• 공간적 및 시간적 종속성을 모델링하기 위해 상태 표현에 그래프 어텐션 네트워크(GAT)를 통합하여 이웃 에이전트 상태의 어텐션 기반 집합을 가능하게 한다.
• 두 가지 주요 DRL 알고리즘인 딥 Q-네트워크(DQN)와 애드밴티지 액터-크리틱(A2C) 이전에 GAT을 전처리 모듈로 통합하여 GAT-DQN 및 GAT-A2C 프레임워크를 구축한다.
• 스펙트럼 효율성(SE)과 슬라이스별 신뢰성(SSR)을 균형 있게 고려하는 복합 보상 함수를 설계하며, 특히 URLLC 슬라이스의 SLA 위반에 대해 벌점을 적용한다.
• 중앙집중적 훈련과 분산 실행(CTDE) 방식을 사용하여 GAT 기반 MARL 에이전트를 훈련시켜 훈련 시에는 전체 관측 가능성을 확보하면서도 추론 시에는 확장성을 유지한다.
• 노드가 기지국을 나타내고 간선이 무선 연결성 또는 간섭 관계를 나타내는 그래프 구조 상태 입력을 사용하며, GAT 어텐션 계수는 훈련 중에 동적으로 학습된다.

실험 결과

연구 질문

• RQ1 GAT이 다중 에이전트 강화학습을 위한 네트워크 슬라이싱에서 기지국 간 시간적·공간적 종속성을 효과적으로 모델링하여 협업을 향상시킬 수 있는가?
• RQ2 DQN 및 A2C와 같은 DRL 프레임워크에 GAT을 통합할 경우 슬라이스 간 자원 할당의 수렴 속도, 안정성 및 최종 성능에 어떤 영향을 미치는가?
• RQ3 GAT 기반 MARL 접근법이 전통적인 하드 슬라이싱 및 순수 DRL 방법에 비해 시스템 유틸리티, 스펙트럼 효율성(SE), 슬라이스 서비스 신뢰성-SSR 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 행동 공간 크기 증가 및 다양한 서비스 수요 정밀도에 따라 GAT 기반 MARL의 성능은 어떻게 스케일링되는가?
• RQ5 변동하는 서비스 수요를 가진 고속 이동성 네트워크 환경에서 GAT 메커니즘이 강건성과 적응성을 향상시키는가?

주요 결과

• GAT-DQN과 GAT-A2C는 각각 기준 DQN 및 A2C에 비해 최대 7% 높은 시스템 유틸리티를 달성하였으며, 특히 큰 행동 공간 시나리오(Δ = 0.18 MHz)에서 GAT 강화 접근법의 확장성을 입증하였다.
• GAT 기반 알고리즘은 스펙트럼 효율성(SE)을 최대 7% 향상시키면서도 URLLC 슬라이스의 SLA 요구사항을 충족(SSF ≥ 0.9)하거나 초과하는 등 성능과 신뢰성 간 효과적인 트레이드오���을 달성하였다.
• GAT-A2C는 특히 세밀한 자원 할당(Δ = 0.18 MHz) 상황에서 GAT-DQN보다 더 안정적인 수렴 행동을 보였으며, 복잡한 환경에서 정책 안정성이 뛰어나다는 것을 시사한다.
• 거시적 자원 할당 시나리오(Δ = 0.54 MHz)에서 DQN 대비 GAT 통합으로 유틸리티가 4% 향상되어 다양한 행동 공간 크기에서 일관된 이점을 보임을 확인하였다.
• 모든 DRL 기반 알고리즘, 특히 GAT 강화된 알고리즘은 eMBB나 mMTC의 성능을 저하시키지 않으면서도 URLLC 서비스의 SSR을 크게 향상시켰다(0.8–0.9), 엄격한 SLA 준수를 보장하였다.
• 다양한 하이퍼파라미터 설정(예: β = [1,1,1], [1,2,3], [1,1,5])에서도 성능이 유지되어 파rameter 변화에 강건하며 수동 튜닝이 최소화됨을 확인하였다.