[논문 리뷰] A General Deep Reinforcement Learning Framework for Grant-Free NOMA Optimization in mURLLC

Yan Liu, Yansha Deng외 3명|arXiv (Cornell University)|2021. 01. 02.

Advanced Wireless Communication Technologies참고 문헌 29인용 수 6

한 줄 요약

이 논문은 대량의 초고신뢰성 저지연 통신(mURLLC)을 위한 할당 없음 NOMA(GF-NOMA)에서 자원 구성 최적화를 위해 더블 DQN과 협동 다중 에이전트 DQN(CMA-DQN)을 사용하는 일반적인 딥 강화학습 프레임워크를 제안한다. 이는 반복 값과 경쟁 전송 단위(CTU) 수를 동적으로 조정하여 동일한 지연 제약 조건 하에서 K-반복 GF-NOMA에서 최대 10배, 프로액티브 GF-NOMA에서 최대 2배 더 많은 성공적으로 서비스된 사용자를 달성한다.

ABSTRACT

Grant-free non-orthogonal multiple access (GF-NOMA) is a potential technique to support massive Ultra-Reliable and Low-Latency Communication (mURLLC) service. However, the dynamic resource configuration in GF-NOMA systems is challenging due to random traffics and collisions, that are unknown at the base station (BS). Meanwhile, joint consideration of the latency and reliability requirements makes the resource configuration of GF-NOMA for mURLLC more complex. To address this problem, we develop a general learning framework for signature-based GF-NOMA in mURLLC service taking into account the multiple access signature collision, the UE detection, as well as the data decoding procedures for the K-repetition GF and the Proactive GF schemes. The goal of our learning framework is to maximize the long-term average number of successfully served users (UEs) under the latency constraint. We first perform a real-time repetition value configuration based on a double deep Q-Network (DDQN) and then propose a Cooperative Multi-Agent learning technique based on the DQN (CMA-DQN) to optimize the configuration of both the repetition values and the contention-transmission unit (CTU) numbers. Our results show that the number of successfully served UEs under the same latency constraint in our proposed learning framework is up to ten times for the K-repetition scheme, and two times for the Proactive scheme, more than that with fixed repetition values and CTU numbers. In addition, the superior performance of CMA-DQN over the conventional load estimation-based approach (LE-URC) demonstrates its capability in dynamically configuring in long term. Importantly, our general learning framework can be used to optimize the resource configuration problems in all the signature-based GF-NOMA schemes.

연구 동기 및 목표

• 기지국에서 무작위 트래픽과 충돌을 사전에 알 수 없는 할당 없음 NOMA(GF-NOMA) 시스템에서의 동적 자원 구성 과제를 해결하기 위해.
• 서명 충돌, 사용자 단말(UE) 탐지 및 데이터 복호화 절차를 관리하여 GF-NOMA에서 지연과 신뢰성 요구 사항을 공동으로 최적화하기 위해.
• K-반복 및 프로액티브 GF와 같은 모든 서명 기반 GF-NOMA 스킴에 적용 가능한 일반화 가능한 학습 프레임워크를 개발하기 위해.
• 엄격한 지연 제약 조건 하에서 장기 평균으로 성공적으로 서비스된 UE 수를 최대화하기 위해.
• 동적이고 장기적인 자원 구성에서 전통적인 부하 추정 기반 접근 방식(LE-URC)을 능가하기 위해.

제안 방법

• 현재 시스템 상태와 피드백에 기반해 실시간으로 반복 값 설정을 위한 더블 딥 Q-네트워크(DDQN)를 사용한다.
• 여러 UE 간의 반복 값과 경쟁 전송 단위(CTU) 수를 공동으로 최적화하기 위해 협동 다중 에이전트 DQN(CMA-DQN)을 제안한다.
• GF-NOMA 시스템을 마르코프 결정 과정(MDP)으로 모델링하며, 상태는 채널 상태, 트래픽 부하 및 사용자 활동을 나타낸다.
• 성공적인 사용자 복호화 및 지연 준수 기반으로 지연된 보상을 통해 DQN 에이전트가 정책을 학습한다.
• CMA-DQN 아키텍처는 서로 다른 UE 또는 자원 블록을 나타내는 다수의 에이전트 간의 협력을 가능하게 하여 충돌을 최소화하고 스펙트럼 효율을 향상시킨다.
• 이 프레임워크는 K-반복 및 프로액티브 GF와 같은 모든 서명 기반 GF-NOMA 스킴에 일반적이고 확장 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 딥 강화학습을 어떻게 활용하여 mURLLC를 위한 GF-NOMA에서 반복 값과 CTU 수를 동적으로 구성할 수 있는가?
• RQ2 CMA-DQN 접근 방식은 성공적으로 서비스된 UE 수 측면에서 고정 또는 히وري스틱 기반 설정 전략에 비해 어느 정도 뛰어나게 성능을 내는가?
• RQ3 제안된 프레임워크는 K-반복 및 프로액티브 GF와 같은 다양한 GF-NOMA 스킴에 일반화될 수 있는가?
• RQ4 학습 프레임워크는 변동하고 알려지지 않은 트래픽 조건 하에서도 높은 신뢰성과 저지연을 유지할 수 있는가?
• RQ5 기존의 부하 추정 기반 자원 제어(LE-URC)에 비해 CMA-DQN 접근 방식의 장기적 성능 향상은 어느 정도인가?

주요 결과

• 제안된 CMA-DQN 프레임워크는 동일한 지연 제약 조건 하에서 고정 반복 값 설정에 비해 K-반복 GF-NOMA 스킴에서 성공적으로 서비스된 UE 수를 최대 10배까지 증가시킨다.
• 프로액티브 GF-NOMA 스킴에서는 고정 설정 방법에 비해 성공적으로 서비스된 UE 수가 2배 향상된다.
• CMA-DQN 접근 방식은 장기적인 동적 구성에서 기존의 부하 추정 기반 자원 제어(LE-URC) 방법을 크게 능가하여 뛰어난 적응성을 입증한다.
• 프레임워크는 통합된 학습 기반 최적화 프레임워크를 통해 서명 충돌, UE 탐지 및 데이터 복호화 절차를 효과적으로 처리한다.
• 프레임워크의 일반적인 설계는 모든 서명 기반 GF-NOMA 스킴에 직접 적용 가능하게 하여 광범위한 적용 가능성을 보장한다.