[논문 리뷰] Deep Reinforcement Learning for Real-Time Optimization in NB-IoT Networks

Nan Jiang, Yansha Deng외 2명|arXiv (Cornell University)|2018. 12. 21.

IoT Networks and Protocols인용 수 5

한 줄 요약

이 논문은 NB-IoT 네트워크에서 전송 시간 간격(TTI)당 성공적으로 서비스된 IoT 기기 수를 최대화하기 위해 실시간 업링크 자원 구성에 대해 딥 강화학습(DRL) 방법—특히 LA-Q, DQN, AA-LA-Q, AA-DQN, CMA-DQN—을 제안한다. CMA-DQN 접근법은 전통적인 부하 추정 기반 방법(LE-URC)에 비해 특히 다양한 커버리지 요구사항을 가진 고차원, 다중 그룹 환경에서 처리량과 학습 효율성 측면에서 뛰어난 성능을 보인다.

ABSTRACT

NarrowBand-Internet of Things (NB-IoT) is an emerging cellular-based technology that offers a range of flexible configurations for massive IoT radio access from groups of devices with heterogeneous requirements. A configuration specifies the amount of radio resource allocated to each group of devices for random access and for data transmission. Assuming no knowledge of the traffic statistics, there exists an important challenge in "how to determine the configuration that maximizes the long-term average number of served IoT devices at each Transmission Time Interval (TTI) in an online fashion". Given the complexity of searching for optimal configuration, we first develop real-time configuration selection based on the tabular Q-learning (tabular-Q), the Linear Approximation based Q-learning (LA-Q), and the Deep Neural Network based Q-learning (DQN) in the single-parameter single-group scenario. Our results show that the proposed reinforcement learning based approaches considerably outperform the conventional heuristic approaches based on load estimation (LE-URC) in terms of the number of served IoT devices. This result also indicates that LA-Q and DQN can be good alternatives for tabular-Q to achieve almost the same performance with much less training time. We further advance LA-Q and DQN via Actions Aggregation (AA-LA-Q and AA-DQN) and via Cooperative Multi-Agent learning (CMA-DQN) for the multi-parameter multi-group scenario, thereby solve the problem that Q-learning agents do not converge in high-dimensional configurations. In this scenario, the superiority of the proposed Q-learning approaches over the conventional LE-URC approach significantly improves with the increase of configuration dimensions, and the CMA-DQN approach outperforms the other approaches in both throughput and training efficiency.

연구 동기 및 목표

• 트래픽 통계에 대한 사전 지식 없이도 동적으로 업링크 자원 구성 최적화 문제를 해결하기 위해.
• 실시간, 온라인 방식으로 TTI당 성공적으로 서비스된 IoT 기기의 장기 평균 수를 최대화하기 위해.
• 다중 매개변수, 다중 그룹 NB-IoT 환경에서 Q-학습의 고차원 행동 공간과 수렴 불안정 문제를 해결하기 위해.
• 네트워크 조건 변화에 대응해 자동으로 업데이트되는 확장 가능하고 효율적이며 적응적인 학습 기반 자원 구성 전략을 개발하기 위해.
• 기본 테이블 기반 Q, LA-Q, DQN, AA 변종, CMA-DQN을 전통적인 히우리스틱 접근법(예: LE-URC)과 성능 비교 및 평가하기 위해.

제안 방법

• 단일 매개변수, 단일 그룹 자원 구성에 대해 테이블 기반 Q-학습(tabular-Q), 선형 근사 기반 Q-학습(LA-Q), 딥 Q-네트워크(DQN)를 사용한다.
• 다중 매개변수 시나리오에서 행동 공간의 차원을 줄이기 위해 액션 집합(AA)을 적용하여 수렴 가능성을 확보하나, 약간의 정확도 손실를 수반한다.
• 협동 다중 에이전트 DQN(CMA-DQN)을 도입하여, 서로 다른 CE 그룹에 대해 반복, RACH, 프리앰블 매개변수를 별도로 구성할 수 있도록 다수의 에이전트가 독립적으로 학습하도록 한다.
• 고차원 상태-행동 공간에서의 학습 안정성 향상과 수렴 개선을 위해 DQN에서 경험 재생과 타겟 네트워크를 활용한다.
• 정책 학습을 이끄는 데 사용하기 위해 TTI당 성공적으로 스케줄링되고 전송된 패킷 수를 기반으로 보상 함수를 정의한다.
• 실시간 관측치를 기반으로 지속적인 학습을 통해 온라인 자가 업데이트 기능을 구현하여 동적인 트래픽 및 채널 조건에 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 강화학습이 트래픽 통계에 대한 사전 지식 없이도 NB-IoT 네트워크에서 업링크 자원 구성 최적화에 효과적으로 기여할 수 있는가?
• RQ2 단일 그룹 시나리오에서 LA-Q와 DQN은 테이블 기반 Q에 비해 성능과 학습 효율성 측면에서 어떻게 비교되는가?
• RQ3 액션 집합(AA)이 다중 매개변수, 다중 그룹 NB-IoT 구성에서 고차원 환경에서 수렴 가능한 Q-학습을 가능하게 하는가?
• RQ4 복잡한 다중 그룹 환경에서 CMA-DQN은 단일 에이전트 DQN 및 히우리스틱 접근법에 비해 뛰어난 성능과 더 빠른 수렴을 달성하는가?
• RQ5 제안된 RL 에이전트는 온라인 학습을 통해 변화하는 네트워크 조건에 자가 적응할 수 있는가?

주요 결과

• CMA-DQN은 모든 CE 그룹에서 성공적으로 서비스된 IoT 기기의 평균 수가 가장 높으며, LE-URC 및 기타 베이스라인 방법에 비해 뚜렷이 뛰어난 성능을 보였다.
• 단일 그룹 시나리오에서 LA-Q와 DQN은 테이블 기반 Q와 유사한 성능을 달성했지만, 훨씬 감소된 학습 시간을 기록했다.
• AA-LA-Q와 AA-DQN은 액션을 집합화함으로써 고차원 구성 환경에서 수렴 가능한 학습을 가능하게 했지만, 약간의 성능 희생을 수반했다.
• CMA-DQN은 가벼운 트래픽에서는 신호 대 잡음비(SNR) 향상과 RACH 실패 감소를 위해 반복 값을 증가시키고, 높은 트래픽에서는 스케줄링 충돌을 최소화하기 위해 이를 감소시켰다.
• CMA-DQN은 고트래픽 환경에서 랜덤 액세스 기회(RAOs) 수를 동적으로 증가시켜 충돌 영향을 완화함으로써 처리량을 향상시켰다.
• CMA-DQN의 온라인 자가 업데이트 기능은 새로운 또는 변경된 트래픽 환경(예: Beta(5,6)의 불규칙한 트래픽)에 배포된 후 시간이 지남에 따라 성능 향상을 이끌 수 있었다.