[논문 리뷰] A Multi-Agent Deep Reinforcement Learning based Spectrum Allocation Framework for D2D Communications

Zheng Li, Caili Guo외 1명|arXiv (Cornell University)|2019. 04. 14.

Advanced MIMO Systems Optimization참고 문헌 17인용 수 6

한 줄 요약

이 논문은 D2D 통신에서 분산 스펙트럼 할당을 위한 다중 에이전트 딥 강화 학습 프레임워크인 NAAC을 제안한다. 중심화된 훈련 중 이웃 사용자들의 이력 상태와 행동을 활용하면서도 실행 시 실시간 신호 전송 없이 작동함으로써, NAAC은 셀룰러 링크 장애 확률을 감소시키고 D2D 합산 속도를 향상시키며 안정적인 수렴을 달성한다—Q-학습, DQN, AC 및 SLA보다 신뢰성과 스펙트럼 효율성에서 뛰어난 성능을 발휘한다.

ABSTRACT

Device-to-device (D2D) communication has been recognized as a promising technique to improve spectrum efficiency. However, D2D transmission as an underlay causes severe interference, which imposes a technical challenge to spectrum allocation. Existing centralized schemes require global information, which can cause serious signaling overhead. While existing distributed solution requires frequent information exchange between users and cannot achieve global optimization. In this paper, a distributed spectrum allocation framework based on multi-agent deep reinforcement learning is proposed, named Neighbor-Agent Actor Critic (NAAC). NAAC uses neighbor users' historical information for centralized training but is executed distributedly without that information, which not only has no signal interaction during execution, but also utilizes cooperation between users to further optimize system performance. The simulation results show that the proposed framework can effectively reduce the outage probability of cellular links, improve the sum rate of D2D links and have good convergence.

연구 동기 및 목표

• 스펙트럼 재사용으로 인해 셀룰러 링크 신뢰성이 떨어지는 D2D 언더레이 통신 환경에서의 간섭 문제를 해결한다.
• 전체 정보가 필요로 하는 중심화된 기법의 한계를 극복한다. 이는 전역 정보 요구로 인한 높은 신호 전송 및 계산 오버헤드를 초래하기 때문이다.
• D2D 쌍 간의 빈번한 실시간 정보 교환에 의존하는 분산 기법의 불안정성과 비효율성을 완화한다.
• 실행 시 신호 전송 상호작용 없이도 D2D 쌍 간의 협력적 스펙트럼 할당을 가능하게 하여 시스템 전체 성능을 향상시킨다.
• 밀도가 높고 사용자 수가 많은 5G 네트워크에 적합한 확장 가능하고 저오버헤드 솔루션을 개발한다.

제안 방법

• 다중 에이전트 및 비정상적인 환경을 반영하기 위해 D2D 스펙트럼 할당 문제를 부분 관측 가능한 마르코프 게임으로 모델링한다.
• 이웃 D2D 쌍의 이력 상태와 행동을 훈련 중에 활용하는 중심화된 훈련과 분산 실행(CTDE) 프레임워크인 NAAC(이웃 에이전트 액터-크리틱)을 제안한다.
• 비평가 네트워크에 이웃 정보를 통합하여 훈련을 안정화시키고 에이전트 간 협력적 정책 학습을 가능하게 한다.
• D2D 자원 할당 작업에서 연속적인 상태 및 행동 공간을 다루기 위해 딥 결정적 정책 기반 강화 학습(DDPG)-기반 액터-크리틱 네트워크를 사용한다.
• 실시간 이웃 정보 교환의 필요성을 제거함으로써 실행을 분산화하여 신호 전송 오버헤드를 줄이고 확장성을 향상시킨다.
• 클라우드 또는 기지국 환경에서 이웃 데이터의 이력을 사용해 프레임워크를 훈련한 후, 정책을 D2D 기기 내부에 로컬로 배포한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 딥 강화 학습을 활용해 D2D 언더레이 네트워크에서 안정적이고 협력적인 스펙트럼 할당을 달성할 수 있는 방법은 무엇인가?
• RQ2 훈련 중 이웃 사용자 정보를 통합할 경우, 분산된 D2D 환경에서 시스템 성능과 훈련 안정성은 어느 정도 향상되는가?
• RQ3 CTDE 프레임워크는 중심화된 또는 순수하게 분산된 기법과 비교해 신호 전송 오버헤드를 줄이면서도 스펙트럼 효율성과 신뢰성을 유지하거나 향상시킬 수 있는가?
• RQ4 D2D 쌍 밀도가 증가함에 따라 NAAC는 기존의 강화 학습 방법(Q-학습, DQN, AC, SLA)에 비해 수렴성, 장애 확률, 합산 속도 측면에서 어떻게 비교되는가?
• RQ5 밀도가 높은 D2D 환경에서 이웃 간 협력의 영향은 간섭 관리 및 전체 네트워크 성능에 어떤 영향을 미치는가?

주요 결과

• NAAC는 훈련 중 최고의 총 보상(최대 DQN 대비 1.8배, Q-학습 대비 2.5배 높음)을 기록하여 보다 뛰어난 정책 학습과 안정성을 나타낸다.
• 셀룰러 링크의 장애 확률이 Q-학습 및 DQN 대비 최대 40% 감소하여 간섭 하에서의 신뢰성이 향상됨을 입증한다.
• 기본 기법 대비 NAAC는 D2D 합산 속도를 25~35% 향상시키며, D2D 쌍 수가 증가할수록 성능 향상 폭이 커진다.
• 이웃 정보를 비평가 네트워크에 통합함으로써 Q-학습, DQN 및 AC보다 더 빠르고 안정적으로 수렴한다. 이는 다중 에이전트 훈련 과정의 안정성을 높여준다.
• 암묵적 협력을 통해 전역 최적화를 달성하여, 여러 D2D 쌍이 동일한 자원을 선택하는 것을 방지하고 누적 간섭을 줄인다.
• 훈련(이웃 데이터 기반 중심화)과 실행(신호 전송 없음, 분산)을 분리함으로써 NAAC는 신호 전송 오버헤드를 크게 줄이고 대규모 네트워크에 잘 스케일링된다.