[논문 리뷰] Intelligence and Learning in O-RAN for Data-driven NextG Cellular Networks

Leonardo Bonati, Salvatore D’Oro외 3명|arXiv (Cornell University)|2020. 12. 02.

Advanced MIMO Systems Optimization참고 문헌 14인용 수 282

한 줄 요약

이 논문은 Colosseum 에뮬레이터를 사용하여 O-RAN 호환성 있는 소프트웨어 정의형 셀룰러 네트워크 내에서 데이터 기반 딥 강화 학습(DRL) 에이전트를 대규모로 종단 간 통합한 최초의 사례를 보여준다. near real-time RAN 지능형 컨트롤러(RIC)에 DRL xApps를 구현함으로써 네트워크 슬라이싱의 동적이고 피드백 루프 기반 최적화를 달성하였으며, 정적 스케줄링 정책에 비해 스펙트럼 효율성을 최대 20% 향상시키고 버퍼 점유율을 최대 37% 감소시켰다.

ABSTRACT

Next Generation (NextG) cellular networks will be natively cloud-based and built upon programmable, virtualized, and disaggregated architectures. The separation of control functions from the hardware fabric and the introduction of standardized control interfaces will enable the definition of custom closed-control loops, which will ultimately enable embedded intelligence and real-time analytics, thus effectively realizing the vision of autonomous and self-optimizing networks. This article explores the disaggregated network architecture proposed by the O-RAN Alliance as a key enabler of NextG networks. Within this architectural context, we discuss the potential, the challenges, and the limitations of data-driven optimization approaches to network control over different timescales. We also present the first large-scale integration of O-RAN-compliant software components with an open-source full-stack softwarized cellular network. Experiments conducted on Colosseum, the world's largest wireless network emulator, demonstrate closed-loop integration of real-time analytics and control through deep reinforcement learning agents. We also show the feasibility of Radio Access Network (RAN) control through xApps running on the near real-time RAN Intelligent Controller, to optimize the scheduling policies of co-existing network slices, leveraging the O-RAN open interfaces to collect data at the edge of the network.

연구 동기 및 목표

• O-RAN 아키텍처를 활용한 NextG 셀룰러 네트워크에서 데이터 기반 종단 간 제어의 실현 가능성을 검증하기 위해.
• 오픈 인터페이스와 분산된 지능형 제어 배치를 통해 지능형 실시간 RAN 제어를 구현하는 데 도전 과제를 해결하기 위해.
• 다양한 트래픽 유형(eMBB, URLLC, MTC)을 포함한 네트워크 슬라이싱을 최적화하는 확장 가능하고 토폴로지 독립적인 DRL 에이전트를 구현하기 위해.
• 실제 대규모 무선 에뮬레이션 환경에서 고정 정책(RR, WF, PF)과 비교하여 DRL 기반 스케줄링 정책의 성능을 평가하기 위해.
• 향후 자율적이고 자기 최적화되는 6G 네트워크 연구를 위한 재현 가능하고 오픈소스 테스트베드 프레임워크를 제공하기 위해.

제안 방법

• Colosseum이라는 대규모 무선 네트워크 에뮬레이터에 O-RAN 호환 소프트웨어 컴포넌트를 구현하여, 4개의 SDR 기반 기지국과 40개의 SDR 사용자 단말기를 포함한 완전한 소프트웨어 기반 셀룰러 네트워크를 시뮬레이션하였다.
• 근접 실시간 RIC에 DRL 에이전트를 xApp 형태로 구현하였으며, 오프라인 훈련에는 Proximal Policy Optimization(PPO)를 사용하고 온라인 추론를 수행하였다.
• O-RAN E2 인터페이스를 통해 RIC 인디케이션 메시지(UE당 72바이트/초의 오버헤드)를 사용하여 실시간 성능 메트릭(예: 스펙트럼 효율성, 버퍼 크기, SINR)을 수집하였다.
• 변동 크기의 입력(예: 슬라이스당 다수의 UE)을 고정 크기의 상태 표현으로 변환하기 위해 신경망 인코더를 활용한 차원 축소 기법을 적용하였다.
• DRL 행동을 스케줄링 정책(RR, WF, PF)으로 매핑하고, 슬라이스별 보상 함수를 설정: eMBB/MTC에는 스루풋 최대화, URLLC에는 지연 최소화를 목표로 하였다.
• DRL 에이전트는 비실시간 RIC에서 훈련하고, 근접 실시간 RIC에 배포하여 피드백 루프 기반 제어를 실현하였으며, 이로써 동적 네트워크 상태에 실시간으로 적응할 수 있도록 하였다.

실험 결과

연구 질문

• RQ1 데이터 기반 종단 간 제어를 DRL 에이전트를 통해 O-RAN 호환성 있는 오픈 아키텍처 기반의 NextG 셀룰러 네트워크에 효과적으로 구현할 수 있는가?

주요 결과

• DRL 기반 제어 시스템은 eMBB 슬라이스에서 최상의 정적 스케줄링 정책(WF)에 비해 최대 20% 향상된 다운링크 스펙트럼 효율성을 달성하였다.
• URLLC 슬라이스에서 DRL 제어를 통해 RR 정책에 비해 평균 37% 감소한 버퍼 점유율을 기록하였으며, PF 정책에 비해서도 17% 감소하였다.
• DRL 에이전트는 자원 가용성과 네트워크 상태에 따라 스케줄링 정책을 동적으로 선택하였으며, 대부분의 조건에서 eMBB 및 MTC 에이전트가 WF 정책을 99% 확률로 선택하였다.
• DRL 에이전트는 토폴로지 독립성을 입증하였으며, 각 기지국당 하나의 슬라이스만 제어함으로써 다양한 네트워크 토폴로지나 UE 수 변화에 대해 재훈련 없이도 작동하였다.
• 효율적인 E2 인터페이스 메시징과 상태 인코딩 덕분에 UE당 72바이트/초의 낮은 제어 루프 오버헤드를 달성하여 실시간 적응이 가능했다.
• 실험 결과는 동적이고 데이터 기반의 스케줄링이 모든 평가된 KPI에서 고정 정책을 능가함을 확인하였으며, 자율적이고 자기 최적화되는 RAN의 실현 가능성을 입증하였다.