[논문 리뷰] Green Deep Reinforcement Learning for Radio Resource Management: Architecture, Algorithm Compression and Challenge

Zhiyong Du, Yansha Deng외 3명|arXiv (Cornell University)|2019. 10. 11.

Advanced MIMO Systems Optimization참고 문헌 15인용 수 5

한 줄 요약

이 논문은 클라우드 기반 훈련과 분산된 의사결정 구조, 알고리즘 수준의 압축 및 공간 이동 학습을 통합하여 5G 및 그 이상의 무선 자원 관리(RRM)를 위한 녹색 딥 강화학습(DRL) 프레임워크를 제안한다. 이는 경량화된 디바이스 내 인퍼런스, 압축된 DNN 및 MDP, 지리적으로 관련된 기지국 간 지식 공유를 통해 에너지 효율적이고 확장 가능한 DRL을 실현하며, 계산 및 에너지 비용을 줄이고 학습 효율성을 크게 향상시킨다.

ABSTRACT

AI heralds a step-change in the performance and capability of wireless networks and other critical infrastructures. However, it may also cause irreversible environmental damage due to their high energy consumption. Here, we address this challenge in the context of 5G and beyond, where there is a complexity explosion in radio resource management (RRM). On the one hand, deep reinforcement learning (DRL) provides a powerful tool for scalable optimization for high dimensional RRM problems in a dynamic environment. On the other hand, DRL algorithms consume a high amount of energy over time and risk compromising progress made in green radio research. This paper reviews and analyzes how to achieve green DRL for RRM via both architecture and algorithm innovations. Architecturally, a cloud based training and distributed decision-making DRL scheme is proposed, where RRM entities can make lightweight deep local decisions whilst assisted by on-cloud training and updating. On the algorithm level, compression approaches are introduced for both deep neural networks and the underlying Markov Decision Processes, enabling accurate low-dimensional representations of challenges. To scale learning across geographic areas, a spatial transfer learning scheme is proposed to further promote the learning efficiency of distributed DRL entities by exploiting the traffic demand correlations. Together, our proposed architecture and algorithms provide a vision for green and on-demand DRL capability.

연구 동기 및 목표

• AI 기반 성능 향상에도 불구하고 지속 가능성에 위협이 되는 5G 및 그 이상의 무선 네트워크에서 딥 강화학습(DRL)의 높은 에너지 소비 문제를 해결한다.
• 고차원적이고 동적인 무선 환경에서 전통적인 RRM 최적화 방법의 확장성 및 계산 부담 문제를 해결한다.
• 훈련 및 인퍼런스 동안 에너지 소비를 최소화하기 위해 계산을 클라우드로 이관하고 경량 현지 의사결정을 가능하게 하는 녹색 DRL 아키텍처를 개발한다.
• 정확도를 손상시키지 않으면서도 파라미터 크기와 계산 부담을 줄이기 위해 딥 신경망(DNN) 및 마르코프 결정 과정(MDP)에 대한 모델 압축 기법을 도입한다.
• 이웃 기지국 간의 공간 상관관계를 활용하여 공간 이동 학습을 가능하게 하여 DRL 수렴 속도를 향상시키고 중복 훈련을 줄인다.

제안 방법

• 기지국이 경량 현지 인퍼런스를 수행하면서도 중심화된 클라우드 훈련에 의해 지원되는 클라우드 기반 훈련 및 분산 의사결정 DRL 아키텍처를 제안한다.
• 훈련 및 인퍼런스 단계에서 모두 모델 크기와 에너지 소비를 줄이기 위해 DNN 압축 기법을 적용하며, 반복적 희소성 탐색과 점진적 프루닝에 중점을 둔다.
• 최적의 정책이나 전이 동역학에 대한 사전 지식이 필요 없이도 상태 및 행동 공간을 효과적으로 압축하기 위해 온라인 학습을 통한 MDP 추상화를 도입한다.
• 이웃 기지국 간의 시공간적 교통 상관관계를 모델링하기 위해 확률적 적분-차분 방정식(SIDE) 프레임워크를 활용하여 공간 이동 학습을 가능하게 한다.
• 이웃 DRL 에이전트 간의 파라미터 공유 범위를 결정하기 위해 교통 수요 상관관계 기반의 공간 커널을 설계하여 학습 효율성을 향상시킨다.
• 압축된 DNN, 추상화된 MDP, 공간 이동 학습을 통합하여 분산 RRM를 위한 확장 가능하고 저에너지 소비 DRL 시스템을 구축한다.

실험 결과

연구 질문

• RQ1 성능을 손상시키지 않고 5G 및 그 이상 네트워크의 무선 자원 관리에서 DRL을 에너지 효율적으로 만들 수 있는 방법은 무엇인가?
• RQ2 배터리 제약이 있는 무선 장치에서 확장 가능하고 저에너지 소비 DRL 구현을 가능하게 하는 아키텍처 설계는 무엇인가?
• RQ3 딥 신경망 및 MDP 모델 압축 기법은 RRM를 위한 DRL에서 계산 및 에너지 비용을 어떻게 줄일 수 있는가?
• RQ4 이웃 기지국 간의 교통 상관관계를 기반으로 한 공간 이동 학습은 DRL 수렴 속도 향상과 중복 훈련 감소에 기여하는가?
• RQ5 환경의 동역학에 대한 사전 지식 없이 MDP를 압축하기 위해 온라인 추상화가 수행하는 역할은 무엇인가?

주요 결과

• 제안된 클라우드 기반 훈련 및 분산 인퍼런스 아키텍처는 디바이스 내 계산 및 에너지 비용을 크게 줄여 배터리 제약이 있는 장치에의 배포를 가능하게 한다.
• 특히 반복적 희소성 탐색을 통한 DNN 압축 기법은 훈련 및 인퍼런스 단계에서 모두 모델 크기와 에너지 소비를 감소시킨다.
• 온라인 MDP 추상화 기법은 최적 정책이나 전이 확률에 대한 사전 지식 없이도 상태 및 행동 공간을 효과적으로 압축할 수 있다.
• SIDE 기반의 교통 상관관계 모델을 기반으로 한 공간 이동 학습은 이웃 기지국 간 지식 공유를 가능하게 하여 DRL 수렴 속도를 향상시키고 훈련 시간을 단축시킨다.
• 모델 압축과 공간 이동 학습의 통합은 분산 RRM 엔티티 전반에서 더 빠른 학습과 낮은 에너지 소비를 이끈다.
• 성능, 확장성, 에너지 효율성의 균형을 이루며 녹색 AI를 위한 실현 가능한 길을 제시함으로써 이 프레임워크는 무선 네트워크에서의 녹색 AI를 위한 전망을 제시한다.