[논문 리뷰] Towards Joint Learning of Optimal MAC Signaling and Wireless Channel Access

Álvaro Valcarce, Jakob Hoydis|arXiv (Cornell University)|2020. 07. 20.

Distributed Sensor Networks and Detection Algorithms참고 문헌 24인용 수 4

한 줄 요약

이 논문은 사전 프로토콜 지식 없이 초기 상태에서 학습하는 다중 에이전트 강화학습(MARL) 방법을 제안하여 무선 네트워크에서 최적의 MAC 레이어 신호화 및 채널 접근 정책을 공동으로 학습한다. 이 방법은 전문가가 설계한 프로토콜 수준의 성능을 달성하며, 기존의 경쟁 기반 또는 조정 기반 기반의 전통적 방법보다 뛰어난 유동적이고 하이브리드 형태의 신호화-채널 접근 전략을 발견한다. 이는 새로운 채널 조건과 사용자 부하에 대한 강건한 일반화 능력을 보여준다.

ABSTRACT

Communication protocols are the languages used by network nodes. Before a user equipment (UE) can exchange data with a base station (BS), it must first negotiate the conditions and parameters for that transmission. This negotiation is supported by signaling messages at all layers of the protocol stack. Each year, the mobile communications industry defines and standardizes these messages, which are designed by humans during lengthy technical (and often political) debates. Following this standardization effort, the development phase begins, wherein the industry interprets and implements the resulting standards. But is this massive development undertaking the only way to implement a given protocol? We address the question of whether radios can learn a pre-given target protocol as an intermediate step towards evolving their own. Furthermore, we train cellular radios to emerge a channel access policy that performs optimally under the constraints of the target protocol. We show that multi-agent reinforcement learning (MARL) and learning-to-communicate (L2C) techniques achieve this goal with gains over expert systems. Finally, we provide insight into the transferability of these results to scenarios never seen during training.

연구 동기 및 목표

• 무선 라디오가 전통적인 인간 설계의 표준화 과정을 거치지 않고 강화학습을 통해 목표 MAC 프로토콜을 학습할 수 있는지 조사한다.
• MAC 신호화와 채널 접근 정책을 별개의 문제로 다루지 않고 MARL을 통해 공동 최적화한다.
• 학습된 프로토콜의 성능와 새로운 환경(예: 사용자 수, BLER, 트래픽 부하 등)에서의 일반화 능력을 평가한다.
• 간단한 시나리오에서 에이전트를 훈련하고 실제 더 복잡한 무선 환경에 배포할 수 있는지 탐색한다.
• 신호화 및 접근 정책의 공동 학습을 통해 향후 완전히 자율적이고 자기 생성되는 MAC 프로토콜 연구의 기반을 마련한다.

제안 방법

• 저자들은 기저국이 있는 단순한 무선 환경에서 다수의 MAC 에이전트를 훈련하기 위해 표본 Q-학습과 $\varepsilon$-탐색 및 $\varepsilon$-감쇠를 사용한다.
• 에이전트들은 자기 플레이(self-play) 기반의 다중 에이전트 강화학습 프레임워크에서 각 유저기기(UE)가 국소 관측값과 보상만을 이용해 다른 에이전트와 협력하도록 훈련된다.
• 환경는 고정된 사용자 수, 블록 오류율(BLER), 최대 전송 시간($t_{\text{max}}$), 보류 중인 패킷을 위한 버퍼를 갖는 슬롯형 ALOHA 유사 시스템을 모델링한다.
• 학습 목표는 신호화 제약을 준수하면서 성공적인 전송(throughput)을 최대화하는 것으로, 성공적인 패킷 전달마다 보상이 부여된다.
• 일반화 능력을 평가하기 위해, 환경적 파라미터(예: 낮은 BLER, 적은 사용자 수)에서 훈련하고 다른 조건(예: 높은 BLER, 더 많은 사용자 수, 더 많은 SDU)에서 테스트한다.
• 독립적인 훈련 실행을 통해 사용자 수($|U|$), BLER, 전송할 SDU 수의 변화에 따른 이식성(transferability)을 평가하고 성능 평균을 산출한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트가 프로토콜 구조에 대한 사전 지식 없이 목표 MAC 신호화 프로토콜과 최적의 채널 접근 정책을 공동으로 학습할 수 있는가?
• RQ2 학습된 프로토콜의 성능는 통신 대역폭과 신뢰성 측면에서 전문가가 설계한 프로토콜과 비교해 어떻게 되는가?
• RQ3 낮은 부하, 낮은 오류 조건에서 훈련된 MAC 정책이 높은 부하 또는 더 오류가 많은 조건으로 일반화되는 정도는 어느 정도인가?
• RQ4 학습된 프로토콜은 경쟁 기반 또는 조정 기반 접근 방식의 특성을 모두 보이거나, 새로운 하이브리드 전략으로 나타나는가?
• RQ5 학습된 신호화 및 접근 정책은 훈련 중에 볼 수 없었던 새로운 배포 환경(예: 다른 사용자 수 또는 트래픽 부하)으로 이식 가능한가?

주요 결과

• MARL 에이전트는 사전 지식 없이 초기 상태에서 학습함에도 불구하고 전문가가 설계한 프로토콜과 비교해 유사한 성능을 달성하는 공동의 신호화 및 채널 접근 정책을 성공적으로 학습했다.
• 학습된 프로토콜은 엄밀히 경쟁 기반 또는 조정 기반 방식이 아니며, 둘의 특성을 융합한 다이나믹하고 적응형 행동을 보이며, 중앙 집중식 제어 없이도 5G-NR의 그레인트리스 스케줄링과 유사한 특성을 띈다.
• 사용자 수($|U|$)와 블록 오류율(BLER)의 변화에 대해 강력한 일반화 능력을 보이며, 훈련된 조건보다 더 도전적인 환경에서도 높은 성능를 유지한다.
• 학습 구성 이외의 트래픽 부하(즉, 전송할 SDU 수)가 증가할 경우 성능가 급격히 악화되며, 이는 훈련된 트래픽 부하에 과적합된 것으로 나타난다.
• 에이전트들은 기지국의 상행 신호를 이해하지만 항상 이를 준수하지는 않으며, 이는 명시적으로 프로그래밍되지 않은 자기 일관성 있는 프로토콜의 탄생을 암시한다.
• 결과적으로, 학습된 프로토콜은 부하와 채널 품질과 같은 배포 환경 특성에 적응함으로써 정적이고 인간이 설계한 프로토콜보다 뛰어난 성능를 보일 수 있음을 시사한다.