[논문 리뷰] Self-Tuning Sectorization: Deep Reinforcement Learning Meets Broadcast Beam Optimization

Rubayet Shafin, Hao Chen외 7명|arXiv (Cornell University)|2019. 06. 14.

Advanced MIMO Systems Optimization참고 문헌 27인용 수 4

한 줄 요약

이 논문은 실시간 사용자 분포에 기반해 동적으로 자율적으로 보상 패턴을 최적화할 수 있는 MIMO 브로드캐스트 비드포밍을 위한 딥 강화학습(DRL) 기반 프레임워크를 제안한다. DRL 에이전트는 주기적 및 마코프 이동 패턴 하에서 오라클 솔루션에 정확히 수렴하는 최적의 비드 구성 설정을 학습한다.

ABSTRACT

Beamforming in multiple input multiple output (MIMO) systems is one of the key technologies for modern wireless communication. Creating appropriate sector-specific broadcast beams are essential for enhancing the coverage of cellular network and for improving the broadcast operation for control signals. However, in order to maximize the coverage, patterns for broadcast beams need to be adapted based on the users' distribution and movement over time. In this work, we present self-tuning sectorization: a deep reinforcement learning framework to optimize MIMO broadcast beams autonomously and dynamically based on user' distribution in the network. Taking directly UE measurement results as input, deep reinforcement learning agent can track and predict the UE distribution pattern and come up with the best broadcast beams for each cell. Extensive simulation results show that the introduced framework can achieve the optimal coverage, and converge to the oracle solution for both single sector and multiple sectors environment, and for both periodic and Markov mobility patterns.

연구 동기 및 목표

• 현대 무선 통신 네트워크에서 정적이고 수동으로 설정된 브로드캐스트 비드 파am터로 인한 부적절한 커버리지 문제를 해결한다.
• 변화하는 사용자 분포 및 이동 패턴에 대응해 섹터별 비드 패턴의 동적이고 자율적인 적응을 가능하게 한다.
• 주기적인 드라이브 테스트 및 수동 파am터 조정에 의존하지 않는 자가 최적화 프레임워크를 개발한다.
• 주기적 및 무작위(마코프) 사용자 이동 패턴에 적응하는 비드 구성 정책을 학습함으로써 최적의 네트워크 커버리지 달성.
• 단일 및 다중 섹터 환경에서 DRL 에이전트가 최적의 비드 구성(오라클 솔루션)으로 수렴하는 것을 입증한다.

제안 방법

• 실시간 사용자 단말기(UE) 측정 피드백 기반으로 비드 패턴을 선택하는 데 깊이 강화학습(DQN)을 활용한 에이전트를 훈련한다.
• UE 분포 데이터를 직접 DRL 에이전트의 입력으로 사용하여 시간에 따라 변화하는 사용자 군집 패턴을 추적하고 예측한다.
• 각 비드 구성에 대해 연결된 UE 수를 기반으로 커버리지 성능을 수량화하는 보상 함수를 정의한다.
• 주기적 및 마코프 이동 패턴을 포함한 동적 사용자 이동성을 가진 시뮬레이션 환경에서 DRL 에이전트를 훈련한다.
• 각 섹터가 지역적 사용자 분포에 기반해 독립적으로 비드 패턴을 선택하면서도 전역 커버리지 최적화를 위해 협력하는 다중 섹터 학습 아키텍처를 구현한다.
• 비정규적 사용자 이동을 시뮬레이션하고 알고리즘의 강건성을 테스트하기 위해 마코프 이동 패턴용 상태 전이 모델을 사용한다.

실험 결과

연구 질문

• RQ1 DRL 기반 시스템은 수동 개입 없이 동적 사용자 분포에 대응해 브로드캐스트 비드 패턴을 자동으로 최적화할 수 있는가?
• RQ2 단일 및 다중 섹터 환경에서 주기적 사용자 이동 패턴 하에서 DRL 에이전트는 최적의 비드 구성(오라클 솔루션)으로 얼마나 잘 수렴하는가?
• RQ3 마코프 과정으로 모델링된 비정규적, 무작위 사용자 이동 패턴 하에서도 DRL 프레임워크는 최적 성능과 수렴을 유지할 수 있는가?
• RQ4 다양한 사용자 분포 상황에서 DRL 에이전트가 오라클 비드 선택 정책과 얼마나 유사한 비드 패턴 선택을 수행하는가?
• RQ5 훈련 과정에서 보상 신호와 행동 불일치는 어떻게 변화하며, 복잡한 이동 환경에서 시스템은 안정적인 수렴을 달성하는가?

주요 결과

• 주기적 사용자 이동 패턴 하에서 단일 섹터 및 다중 섹터 환경 모두에서 DRL 에이전트는 오라클 솔루션으로 완벽한 수렴을 달성한다.
• 훈련 후 DRL 에이전트의 보상과 오라클의 보상 간 평균 제곱차이(ASD)가 0으로 감소하여 정확한 수렴을 의미한다.
• 모든 섹터에서 DRL 에이전트와 오라클 간 평균 행동 불일치(AM)가 0으로 감소하여 에이전트가 오라클과 동일한 최적의 비드 패턴을 선택함을 확인한다.
• 마코프 이동 패턴 하에서도 DRL 에이전트는 여전히 오라클 솔루션으로 수렴하며, ASD 및 AM 모두 0에 도달하여 비정규적, 무작위 사용자 이동에 대한 강건성을 입증한다.
• 다양한 시나리오 간 보상 값의 차이가 매우 미미할지라도 DRL 에이전트는 최적 행동을 정확히 식별할 수 있어 높은 학습 정확도를 보인다.
• 수렴 시점의 순순간 보상 및 행동 추적 결과에서 에이전트가 각 시나리오에 맞는 정확한 비드 패턴을 선택하는 것으로 나타나 안정적이고 정확한 정책 학습을 확인한다.