[논문 리뷰] Programmable and Customized Intelligence for Traffic Steering in 5G Networks Using Open RAN Architectures

Andrea Lacava, Michele Polese외 7명|arXiv (Cornell University)|2022. 09. 28.

Advanced MIMO Systems Optimization인용 수 6

한 줄 요약

이 논문은 5G 오픈 RAN 네트워크에서 사용자 수준의 트래픽 조정을 위한 딥 강화학습(DRL) 기반 xApp의 엔드투엔드 개발 및 대규모 학습을 가능하게 하기 위해 프로덕션 수준의 near-RT RIC와 ns-3 기반의 3GPP 시뮬레이션 RAN을 통합한 새로운 프레임워크 ns-O-RAN을 제안한다. 제안된 xApp는 CNN을 활용한 랜덤 엔semble 믹스(REM)와 콜드 스탠딩 Q-러닝(CQL) 알고리즘을 적용하여 기존의 핸드오버 히우리스틱보다 평균적으로 50% 향상된 전송률과 스펙트럼 효율성을 달성하며, 이동성 오버헤드도 감소시킨다.

ABSTRACT

5G and beyond mobile networks will support heterogeneous use cases at an unprecedented scale, thus demanding automated control and optimization of network functionalities customized to the needs of individual users. Such fine-grained control of the Radio Access Network (RAN) is not possible with the current cellular architecture. To fill this gap, the Open RAN paradigm and its specification introduce an open architecture with abstractions that enable closed-loop control and provide data-driven, and intelligent optimization of the RAN at the user level. This is obtained through custom RAN control applications (i.e., xApps) deployed on near-real-time RAN Intelligent Controller (near-RT RIC) at the edge of the network. Despite these premises, as of today the research community lacks a sandbox to build data-driven xApps, and create large-scale datasets for effective AI training. In this paper, we address this by introducing ns-O-RAN, a software framework that integrates a real-world, production-grade near-RT RIC with a 3GPP-based simulated environment on ns-3, enabling the development of xApps and automated large-scale data collection and testing of Deep Reinforcement Learning-driven control policies for the optimization at the user-level. In addition, we propose the first user-specific O-RAN Traffic Steering (TS) intelligent handover framework. It uses Random Ensemble Mixture, combined with a state-of-the-art Convolutional Neural Network architecture, to optimally assign a serving base station to each user in the network. Our TS xApp, trained with more than 40 million data points collected by ns-O-RAN, runs on the near-RT RIC and controls its base stations. We evaluate the performance on a large-scale deployment, showing that the xApp-based handover improves throughput and spectral efficiency by an average of 50% over traditional handover heuristics, with less mobility overhead.

연구 동기 및 목표

• 오픈 RAN 환경에서 AI/ML 기반 xApp의 개발 및 훈련을 위한 확장 가능하고 데이터 기반의 테스트베드가 부족한 문제를 해결하기 위해.
• near-RT RIC에 배포된 프로그래밍 가능한 xApp를 통해 RAN 기능에 세밀한 사용자 수준 제어를 가능하게 하기 위해.
• 실시간 사용자 및 네트워크 조건을 기반으로 한 핸드오버 결정을 최적화하는 새로운 데이터 기반 트래픽 조정 프레임워크를 설계하고 평가하기 위해.
• 대규모 시뮬레이션과 실제 프로토콜 호환성 검증을 통해 전송률과 스펙트럼 효율성에서 뚜렷한 성능 향상을 입증하기 위해.

제안 방법

• 프로덕션 수준의 near-RT RIC와 3GPP 호환성의 ns-3 기반 RAN 시뮬레이터를 통합하여 전체 스택이 O-RAN 기준을 충족하는 테스트 환경을 구축한다.
• 다차원 사용자 및 채널 상태 정보를 처리하기 위해 컨volutional 신경망(CNN)을 사용하는 커스터마이징된 xApp를 개발한다.
• 복잡하고 동적인 RAN 환경에서의 훈련 안정성과 일반화 성능 향상을 위해 콜드 스탠딩 Q-러닝(CQL) 에이전트의 랜덤 엔셈블 믹스(REM)를 적용한다.
• 전송률 향상의 로그 기반 보상 함수와 핸드오버 비용을 조합하여 성능과 이동성 오버헤드 간의 균형을 확보한다.
• 훈련된 xApp을 near-RT RIC에 배포하여 RAN의 E2 인터페이스를 통해 기지국 선택을 실시간으로 제어한다.
• 다양한 주파수 대역과 사용자 부하 조건에서 대규모 DRL 훈련 및 검증을 위한 4000만 개 이상의 데이터 포인트를 ns-O-RAN을 통해 수집한다.

실험 결과

연구 질문

• RQ1 모의화된 O-RAN 호환 환경이 RAN 제어를 위한 확장 가능하고 데이터 기반의 DRL 기반 xApp 훈련을 가능하게 하는가?
• RQ2 DRL 기반 트래픽 조정 정책은 전통적인 핸드오버 히우리스틱에 비해 사용자 전송률과 스펙트럼 효율성에서 어떻게 비교되는가?
• RQ3 사용자 수준의 데이터 기반 제어는 다양한 트래픽 모델과 네트워크 조건에서 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 xApp은 다양한 주파수 대역과 사용자 수에서 이동성 오버헤드와 내구성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 대규모 배포(최대 126명의 사용자 및 8개의 기지국)에서 DRL 기반 xApp은 기존의 핸드오버 히우리스틱 대비 평균 사용자 전송률과 스펙트럼 효율성을 최대 50% 향상시킨다.
• 균형 잡힌 보상 함수에 기반한 최적화된 의사결정으로 인해 일부 시나리오에서는 더 많은 핸드오버가 발생하지만, 기준선 대비 이동성 오버헤드가 감소한다.
• 850 MHz 및 3.5 GHz(C-밴드) 배포 모두에서 일관된 성능 향상을 달성하여 주파수 대역 적응 가능성을 입증한다.
• 이전 연구에서 제안한 컨텍스트 기반 다중 암드 밴딧 에이전트보다 우수한 성능을 보이며, 특히 셀 엣지 사용자 전송률 향상과 이질적인 트래픽 유형 처리에서 뛰어난 성능을 발휘한다.
• 비디오 스트리밍, 웹 브라우징, 메시징 등 다양한 트래픽 모델에서 뚜렷한 성능 향상을 달성하며, 고부하 애플리케이션의 경우 스펙트럼 효율성 향상 최대 50%를 기록한다.
• ns-O-RAN의 통합을 통해 4000만 개 이상의 훈련 데이터 포인트를 수집하여 강력하고 일반화 가능한 DRL 정책 학습을 지원한다.