[논문 리뷰] The Emergence of Wireless MAC Protocols with Multi-Agent Reinforcement Learning

Mateus P. Mota, Álvaro Valcarce외 2명|arXiv (Cornell University)|2021. 08. 16.

Wireless Networks and Protocols참고 문헌 20인용 수 9

한 줄 요약

이 논문은 다중 에이전트 강화학습(MARL) 프레임워크를 제안하며, MADDPG를 사용하여 기지국과 사용자 단말기가 서로 협력적으로 신규 중접제어(MAC) 프로토콜을 처음부터 학습할 수 있도록 한다. 이 프로토콜은 신호 전달 방식과 채널 접근 정책을 모두 포함한다. 이 프레임워크는 경쟁 방지 기반 대비 뛰어난 유효대역폭 성능을 달성하여, 다중 에이전트 무선 시스템에서 강건한 프로토콜 기원을 위해 통신과 중심 집중 학습이 필수적임을 입증한다.

ABSTRACT

In this paper, we propose a new framework, exploiting the multi-agent deep deterministic policy gradient (MADDPG) algorithm, to enable a base station (BS) and user equipment (UE) to come up with a medium access control (MAC) protocol in a multiple access scenario. In this framework, the BS and UEs are reinforcement learning (RL) agents that need to learn to cooperate in order to deliver data. The network nodes can exchange control messages to collaborate and deliver data across the network, but without any prior agreement on the meaning of the control messages. In such a framework, the agents have to learn not only the channel access policy, but also the signaling policy. The collaboration between agents is shown to be important, by comparing the proposed algorithm to ablated versions where either the communication between agents or the central critic is removed. The comparison with a contention-free baseline shows that our framework achieves a superior performance in terms of goodput and can effectively be used to learn a new protocol.

연구 동기 및 목표

• 무선 네트워크 에이전트가 다중 에이전트 강화학습을 통해 자율적으로 새로운 MAC 프로토콜을 학습할 수 있는 프레임워크를 개발한다.
• 에이전트가 제어 메시지 의미에 대한 사전 합의 없이도 신호 전달 방식과 채널 접근 정책을 공동으로 학습할 수 있는지 조사한다.
• 효과적인 프로토콜 기원을 가능하게 하는 상호 에이전트 간 통신과 중심 집중 학습의 필요성을 평가한다.
• 제안된 MARL 기반 프로토콜을 경쟁 방지 기반 대비 및 분리된 버전들과 비교하여 성능과 강건성 평가를 수행한다.

제안 방법

• 협동 학습을 위해 중심 집중 학습 및 분산 실행(CTDE) 방식을 적용한 다중 에이전트 딥 디터미니스틱 정책 그래디언트(MADDPG)를 사용한다.
• 기지국과 사용자 단말기를 별도의 행동 공간을 가진 환경 행동 및 통신 행동을 갖는 Dec-POMDP 프레임워크 내의 RL 에이전트로 모델링한다.
• 모든 에이전트의 상태와 행동을 관찰하는 중심 집중형 크리틱을 도입하여 연합 행동가치 함수를 계산함으로써, 가치 함수 근사 기법을 통해 학습 안정성을 향상시킨다.
• 사전 정의된 의미가 아닌, 학습을 통해 의미가 결정되는 제어 메시지를 교환할 수 있는 통신 행동 공간을 도입한다.
• 학습 안정성과 수렴성을 향상시키기 위해 경험 재생 및 소프트 업데이트를 적용한 타겟 네트워크를 사용한다.
• 정책 학습을 이끄는 데 사용되는 보상 함수는 유효대역폭과 성공적인 전송 비율에 기반한다.

실험 결과

연구 질문

• RQ1 MARL을 통해 메시지 의미에 대한 사전 합의 없이도 완전하고 새로운 MAC 프로토콜(신호 전달 포함)이 기원할 수 있는가?
• RQ2 상호 에이전트 간 통신이 프로토콜 기원에서 높은 성능을 달성하는 데 얼마나 필수적인가?
• RQ3 중심 집중형 크리틱(중앙 집중 학습)이 기원하는 프로토콜의 안정성과 성능에 미치는 영향은 어떠한가?
• RQ4 다양한 오류율에서 제안된 프로토콜의 성능이 기존의 경쟁 방지 기반 대비 어떻게 다를까?
• RQ5 기원한 프로토콜이 다양한 전송 블록 오류율(TBLER) 환경에 효과적으로 적응하는가?

주요 결과

• MADDPG 기반 프레임워크는 경쟁 방지 기반 대비 더 높은 평균 유효대역폭 성능을 달성했으며, 테스트 에피소드에서 99.973%의 전달률을 기록했고, 기반 대비 99.998%의 전달률을 기록했다.
• 통신 기능을 제거한 분리 실험은 가장 열악한 성능과 가장 높은 분산을 보였으며, 이는 통신이 강건한 프로토콜 학습을 위해 필수적임을 시사한다.
• 중심 집중형 크리틱의 포함으로 학습 안정성과 최종 성능이 크게 향상되었으며, 신뢰구간의 범위가 좁고 수렴성이 뛰어나다는 점에서 확인되었다.
• 제안된 솔루션은 모든 테스트된 TBLER에서 뛰어난 유효대역폭 성능을 유지했으며, TBLER = 0.1일 때 기반 대비 성능 격차가 가장 작았다.
• DDPG 분리 실험(중심 집중형 크리틱 제외)은 두 개의 SDU를 전송할 경우 기반 대비 성능을 뛰어넘지 못했으며, 이는 중심 집중 학습의 중요성을 강조한다.
• 프레임워크는 다양한 TBLER 환경에 맞는 프로토콜을 성공적으로 학습하여 적응성과 응용 분야 최적화 가능성을 입증했다.