[논문 리뷰] EdgeRIC: Empowering Realtime Intelligent Optimization and Control in NextG Networks

Woo-Hyun Ko, Ushasi Ghosh외 4명|arXiv (Cornell University)|2023. 04. 21.

Energy Efficient Wireless Sensor Networks인용 수 4

한 줄 요약

이 논문은 엣지 기반의 저지연 미세 서비스인 EdgeRIC(하나의 밀리초 이내 정책 실행 가능)과 오프라인 AI 정책 훈련을 위한 포괄적 에뮬레이터인 DigitalTwin를 포함하는 실시간 지능형 제어 플랫폼인 RICworld를 제안한다. EdgeRIC는 클라우드 기반 RIC 및 기존 스케줄링 방식보다 5–25% 높은 처리량과 더 낮은 비디오 정지 현상을 보이며, 5G 네트워크에서 실시간, 애플리케이션 인식형 교차 계층 최적화의 실현 가능성을 입증한다.

ABSTRACT

Radio Access Networks (RAN) are increasingly softwarized and accessible via data-collection and control interfaces. RAN intelligent control (RIC) is an approach to manage these interfaces at different timescales. In this paper, we develop a RIC platform called RICworld, consisting of (i) EdgeRIC, which is colocated, but decoupled from the RAN stack, and can access RAN and application-level information to execute AI-optimized and other policies in realtime (sub-millisecond) and (ii) DigitalTwin, a full-stack, trace-driven emulator for training AI-based policies offline. We demonstrate that realtime EdgeRIC operates as if embedded within the RAN stack and significantly outperforms a cloud-based near-realtime RIC (> 15 ms latency) in terms of attained throughput. We train AI-based polices on DigitalTwin, execute them on EdgeRIC, and show that these policies are robust to channel dynamics, and outperform queueing-model based policies by 5% to 25% on throughput and application-level benchmarks in a variety of mobile environments.

연구 동기 및 목표

• TTI 기반 RAN 운영(1 ms)과 기존의 근접 또는 비실시간 RIC 솔루션(10 ms에서 수초) 간의 지연 불일치 문제를 해결한다.
• AR/VR, 산업용 IoT, 스트리밍 등 엄격한 QoE 요구사항을 충족하기 위해 5G 네트워크에서 실시간, 애플리케이션 인식형 교차 계층 최적화를 가능하게 한다.
• 지능형 제어를 RAN 스택에서 분리하면서도 밀리초 이내의 반응성과 장애 내성 능력을 유지하는 플랫폼을 개발한다.
• 실외 실험을 통해 강화학습 기반 정책을 활용한 실시간 자원 할당의 종단 간 실현 가능성을 입증한다.
• 다양한 RAN 스택과 다중 사용자 시나리오에서 AI 최적화 정책의 강건하고 확장 가능하며 확장 가능한 배포를 가능하게 한다.

제안 방법

• EdgeRIC를 엣지 컴퓨팅 환경에 공재배치된 분리된 마이크로서비스로 구현하여, 표준화된 O-RAN 유사 API를 통해 실시간 RAN 상태 및 애플리케이션 수준 상태에 액세스한다.
• RAN의 1 ms TTI와 동기화하여 밀리초 이내 지연을 보장하는 실시간 제어 루프를 구현함으로써 즉각적인 정책 실행을 가능하게 한다.
• EdgeRIC 신호가 없을 경우 기본 RAN 스케줄링으로의 장애 복구를 통해 고장 내성 아키텍처를 설계한다.
• 다중 사용자, 다중 애플리케이션 환경과 현실적인 채널 동역학을 모ulating하는 포괄적 에뮬레이터인 DigitalTwin를 개발하여 오프라인 AI 정책 훈련을 수행한다.
• 상태 입력으로 CQI, 대기열 상태, 미디어 버퍼 크기를 사용하고, 비디오 정지 시 -20의 페널티, 원활한 재생 시 +2의 보상을 제공하는 보상 함수를 사용하여 PPO(Proximal Policy Optimization) 기반 강화학습 에이전트를 DigitalTwin에서 훈련시킨다.
• 훈련된 RL 정책을 EdgeRIC에 배포하여 실시간 실행을 수행하고, 24fps 비디오 스트리밍을 사용하며 버퍼 상태 업데이트 주기를 40ms, 업링크 지연을 20ms로 시뮬레이션한 실외 실험을 수행한다.

실험 결과

연구 질문

• RQ1 분리된 엣지 기반 RIC가 시간 민감한 RAN 운영에서 격리된 상태에서 밀리초 이내 제어 지연을 달성할 수 있는가?
• RQ2 DigitalTwin와 같은 포괄적 에뮬레이터에서 훈련된 AI 최적화 정책이 동적 채널 조건을 갖는 실제 무선 환경으로 일반화될 수 있는 정도는 어느 정도인가?
• RQ3 EdgeRIC를 통한 실시간, 애플리케이션 인식 제어가 처리량 및 비디오 정지와 같은 QoE 지표 측면에서 기존 RAN 스케줄링 및 클라우드 기반 RIC와 비교해 어떻게 성능을 냈는가?
• RQ4 다중 임대 환경에서 다수의 사용자 및 여러 기지국을 지원하는 데 있어 EdgeRIC의 확장성은 어떠한가?
• RQ5 개인정보 보호와 성능 유지를 유지하면서도, 다수의 기지국에 걸쳐 EdgeRIC 인스턴스를 연계하는 데에 연합 학습이 효과적으로 활용될 수 있는가?

주요 결과

• EdgeRIC는 밀리초 이내 제어 지연을 달성하여 TTI 단위(1 ms)의 실시간 정책 실행을 가능하게 하며, 15 ms 이상의 지연을 보이는 클라우드 기반 근접 실시간 RIC보다 뛰어난 성능을 보였다.
• 실외 실험에서 RL 기반 정책은 30초 동안의 재생 기간 동안 총 비디오 정지 시간을 2.3–2.6초로 줄였으며, 최대 가중치 기반(5.4초) 및 비례 공정성 기반(4.2초) 기준 대비 65% 감소시켰다.
• RL 정책는 채널 변화에 대해 강건하게 유지되는 안정적인 미디어 버퍼링을 확보하였고, 고우선도 스트림에 대해 평균 처리량 약 7.5 Mbps를 달성하였다.
• DigitalTwin에서 RL 에이전트는 10회의 훈련 반복 이내에 최적 정책에 수렴하였으며, 제안된 상태-행동-보상 구성 방식에서 효율적인 학습이 가능함을 시사하였다.
• EdgeRIC는 최대 100명의 UE에 대한 제어 메시지를 처리할 수 있었고, RAN에서 EdgeRIC까지의 지연이 약 100 μs로 측정되어, 현재 실험적 제약에도 불구하고 확장 가능성 잠재력을 보였다.
• 이 플랫폼는 다양한 이동 환경에서 큐잉 모델 기반 정책 대비 시스템 처리량을 5%에서 25% 향상시키며, 실시간 AI 기반 애플리케이션 인식형 교차 계층 제어의 유용성을 입증하였다.