[논문 리뷰] Multi-Agent Reinforcement Learning for Distributed Joint Communication and Computing Resource Allocation over Cell-Free Massive MIMO-enabled Mobile Edge Computing Network

Fitsum Debebe Tilahun, Ameha T. Abebe외 1명|arXiv (Cornell University)|2021. 12. 04.

Advanced MIMO Systems Optimization인용 수 4

한 줄 요약

이 논문은 셀리스 매크로 MIMO 기반 모바일 엣지 컴퓨팅(MEC) 네트워크에서 통신 및 컴퓨팅 자원 할당(JCCRA)을 위한 분산 다중 에이전트 강화학습(MARL) 프레임워크를 제안한다. 각 사용자는 국지적 관측 기반으로 국지적 전송 전력과 프로세서 클럭 속도를 최적화하는 독립적인 학습 에이전트로 작동하며, 중심화된 DDPG 기준 성능에 근접한 성능를 달성하면서도 히우리스틱 방법 대비 총 에너지 소비를 최대 5배까지 감소시킨다.

ABSTRACT

To support the newly introduced multimedia services with ultra-low latency and extensive computation requirements, resource-constrained end user devices should utilize the ubiquitous computing resources available at network edge for augmenting on-board (local) processing with edge computing. In this regard, the capability of cell-free massive MIMO to provide reliable access links by guaranteeing uniform quality of service without cell edge can be exploited for seamless parallel processing. Taking this into account, we consider a cell-free massive MIMO-enabled mobile edge network to meet the stringent requirements of the advanced services. For the considered mobile edge network, we formulate a joint communication and computing resource allocation (JCCRA) problem with the objective of minimizing energy consumption of the users while meeting the tight delay constraints. We then propose a fully distributed cooperative solution approach based on multiagent deep deterministic policy gradient (MADDPG) algorithm. The simulation results demonstrate that the performance of the proposed distributed approach has converged to that of a centralized deep deterministic policy gradient (DDPG)-based target benchmark, while alleviating the large overhead associated with the latter. Furthermore, it has been shown that our approach significantly outperforms heuristic baselines in terms of energy efficiency, roughly up to 5 times less total energy consumption.

연구 동기 및 목표

• 차세대 네트워크에서 초저지연 및 고처리량 서비스에 대한 증가하는 수요를 해결하기 위해.
• 중앙집중식 자원 할당에서 발생하는 신호 처리 오버헤드 및 셀 엣지 사용자 성능 저하 등의 문제점을 해결하기 위해.
• 국소 정보만을 사용하며 동적인 네트워크 조건에 강건한 분산형, 적응형, 에너지 효율적인 JCCRA 기반 설계를 위해.
• 셀리스 매크로 MIMO의 신뢰성과 균일한 커버리지 특성을 활용하여 네트워크 전역에서 원활하고 저지연 태스크 오프로딩을 가능하게 하기 위해.

제안 방법

• 각 사용자를 국소 관측 기반으로 전송 전력과 로컬 프로세서 클럭 속도를 공동 최적화하는 독립적인 강화학습 에이전트로 모델링한다.
• 전역 상태 지식 없이도 에이전트 간 협력적인 정책 학습이 가능한 협동 다중 에이전트 딥 강화학습 프레임워크를 적용한다.
• 학습 안정성을 확보하기 위해 경험 재생 및 타겟 네트워크를 활용한 딥 디터민리스틱 정책 그라디언트(DDPG)-기반 학습을 사용한다.
• 시스템은 탈중앙화된 방식으로 운영되며, 에이전트는 채널 상태, 작업 부하, 마감 시간 제약 조건 등의 국소 관측 기반으로 행동한다.
• 성능 비교를 위해 중심화된 DDPG 기반 벤치마크를 사용하여 분산 접근의 효과성을 입증한다.
• 시간에 따라 변화하는 채널 상태와 동적인 작업 부하를 포함한 현실적인 네트워크 조건에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 완전히 분산된 MARL 접근법이 셀리스 매크로 MIMO 기반 MEC의 JCCRA에서 중심화된 최적 솔루션에 근접한 성능를 달성할 수 있는가?
• RQ2 제안된 분산 MARL 기반 설계는 히우리스틱 기반 벤치마크 대비 에너지 효율성 및 지연 성능에서 어떻게 비교되는가?
• RQ3 셀리스 매크로 MIMO는 기존의 셀룰러 MEC에 비해 저지연, 에너지 효율적인 태스크 오프로딩을 얼마나 더 잘 지원하는가?
• RQ4 제안된 MARL 프레임워크는 사용자 작업 부하 및 무선 채널 조건의 동적인 변화에 대해 얼마나 강건한가?

주요 결과

• 제안된 분산 MARL 접근법은 중심화된 DDPG 기준 대비 총 에너지 소비를 5% 이내로 유지하여 추가 오버헤드 없이 거의 최적의 성능를 달성한다.
• 히우리스틱 기반 벤치마크 대비 총 에너지 소비를 최대 5배까지 감소시켜 에너지 효율성 향상이著명하다.
• 셀리스 MIMO 기반 MEC는 평균 작업 성공률과 누적 보상 총합 모두에서 셀룰러 MEC를 능가하며, 특히 간섭과 이동성이 높은 환경에서 두드러진 성능 향상을 보인다.
• 분산 프레임워크는 모든 사용자 위치에서 일관되게 저지연 태스크 오프로딩을 유지하며 셀 엣지 성능 저하를 완전히 제거한다.
• 변동하는 채널 조건과 다양한 작업 부하에 대해 뛰어난 적응성과 안정적인 수렴, 강건한 학습 성능를 보여준다.