[논문 리뷰] Multi-Agent Deep Reinforcement Learning based Spectrum Allocation for D2D Underlay Communications

Zheng Li, Caili Guo|arXiv (Cornell University)|2019. 12. 18.

Advanced MIMO Systems Optimization참고 문헌 40인용 수 4

한 줄 요약

이 논문은 D2D 언더레이 통신에서 분산 스펙트럼 할당을 위한 다중 에이전트 강화학습 프레임워크인 MAAC를 제안하며, 실시간 신호전달 없이 D2D 사용자 간 협업을 가능하게 한다. 셀룰러 링크의 낮은 서지 확률과 D2D 링크의 높은 합산 속도를 달성하며, 학습 복잡도가 감소한 확장 가능한 변형인 NAAC를 통해 뛰어난 일반화 성능을 제공한다.

ABSTRACT

Device-to-device (D2D) communication underlay cellular networks is a promising technique to improve spectrum efficiency. In this situation, D2D transmission may cause severe interference to both the cellular and other D2D links, which imposes a great technical challenge to spectrum allocation. Existing centralized schemes require global information, which causes a large signaling overhead. While existing distributed schemes requires frequent information exchange among D2D users and cannot achieve global optimization. In this paper, a distributed spectrum allocation framework based on multi-agent deep reinforcement learning is proposed, named multi-agent actor critic (MAAC). MAAC shares global historical states, actions and policies during centralized training, requires no signal interaction during execution and utilizes cooperation among users to further optimize system performance. Moreover, in order to decrease the computing complexity of the training, we further propose the neighbor-agent actor critic (NAAC) based on the neighbor users' historical information for centralized training. The simulation results show that the proposed MAAC and NAAC can effectively reduce the outage probability of cellular links, greatly improve the sum rate of D2D links and converge quickly.

연구 동기 및 목표

• D2D 링크가 셀룰러 대역을 재사용하는 D2D 언더레이 통신 환경에서 간섭 문제를 해결한다.
• 밀도가 높고 동적인 네트워크에서 중심 집중식 기법(높은 신호전달 오버헤드)과 분산 기법(빈번한 정보 교환)의 한계를 극복한다.
• 실시간 신호전달 없이 D2D 사용자 간 협업을 가능하게 하는 분산 스펙트럼 할당 프레임워크를 설계한다.
• 중앙집중적 학습과 분산 실행을 통해 높은 시스템 성능를 유지하면서 학습 복잡도를 감소시킨다.
• 동적인 사용자 집약적 환경에서 셀룰러 링크 신뢰성 확보와 함께 D2D 합산 속도를 극대화한다.

제안 방법

• MAAC(Multi-Agent Actor-Critic)를 제안하며, 모든 에이전트의 역사적 상태, 행동, 정책을 통합하여 다중 D2D 에이전트 간 협업을 가능하게 하는 중앙집중적 학습 및 분산 실행 프레임워크를 구현한다.
• NAAC(Neighbor-Agent Actor-Critic)를 도입하여, 학습 시 고정된 수의 인접 D2D 사용자 역사 데이터만을 활용함으로써 계산 부담을 감소시키는 확장 가능한 변형을 제공한다.
• 다중 에이전트 강화학습 프레임워크 내에서 딥 Q네트워크와 정책 기반 강화학습 방법을 활용하여 최적의 스펙트럼 할당 정책을 학습한다.
• 셀룰러 링크의 서지 확률과 D2D 합산 속도를 균형 있게 고려하는 보상 함수를 설계하여 학습 목표를 시스템 목표에 부합시킨다.
• 모든 또는 인접한 에이전트의 역사를 기반으로 중앙집중적으로 정책을 학습한 후, 분산 실행 모드로 배포한다.
• 다중 에이전트 환경에서 샘플 효율성과 일반화 성능 향상을 위해 에이전트 간 파라미터 공유 메커니즘을 도입한다.

실험 결과

연구 질문

• RQ1 실시간 전역 신호전달 없이 다중 에이전트 딥 강화학습 프레임워크가 D2D 언더레이 통신 환경에서 간섭을 효과적으로 줄이고 스펙트럼 효율을 향상시킬 수 있는가?
• RQ2 중앙집중적 학습 시 전역 역사를 활용할 경우 분산 스펙트럼 할당의 성능 및 수렴 특성에 어떤 영향을 미치는가?
• RQ3 이웃 기반 정보 집계 전략(NAAC)을 통해 얼마나 많은 학습 복잡도를 감소시킬 수 있으며, 시스템 성능는 유지할 수 있는가?
• RQ4 학습 시 고려하는 이웃 사용자 수(λ)가 셀룰러 및 D2D 링크의 서지 확률과 합산 속도에 어떤 영향을 미치는가?
• RQ5 기존의 중심집중적 및 분산 기법과 비교해 볼 때 제안된 프레임워크가 셀룰러 신뢰성과 D2D 대역폭 간의 더 나은 트레이드오프를 달성할 수 있는가?

주요 결과

• MAAC는 기존 방법 대비 셀룰러 링크의 서지 확률을 감소시키고 D2D 링크의 합산 속도를 크게 향상시킨다.
• NAAC는 λ(고려하는 이웃 수)가 충분히 클 경우 MAAC와 유사한 성능를 달성하며, λ=2일 경우 셀룰러 합산 속도가 2 bit/s/Hz 낮지만, λ가 증가함에 따라 MAAC 성능에 수렴한다.
• NAAC 하에서 D2D 합산 속도는 초기에 λ가 작을 경우 MAAC보다 높지만, λ가 증가함에 따라 셀룰러 링크 제약 강화로 인해 감소한다.
• λ가 증가함에 따라 NAAC의 성능는 MAAC에 수렴함으로써, 더 많은 이웃 역사 정보를 통합할수록 정책의 강건성과 신뢰성이 향상됨을 시사한다.
• MAAC와 NAAC 모두 빠른 수렴을 보이며, 기존의 중심집중적 및 분산 기법보다 스펙트럼 효율성과 신뢰성 측면에서 뛰어난 성능를 확보한다.
• 제안된 프레임워크는 신호전달 오버헤드가 낮고 확장성이 높아 차량 통신 네트워크와 같은 밀도가 높고 동적인 환경에 매우 적합하다.