[논문 리뷰] Multi Agent Team Learning in Disaggregated Virtualized Open Radio Access Networks (O-RAN)

Pedro Enrique Iturria-Rivera, Shahram Mollahasani외 1명|arXiv (Cornell University)|2020. 12. 09.

Software-Defined Networks and 5G참고 문헌 12인용 수 5

한 줄 요약

이 논문은 분산형 가상화된 오픈 RAN(O-RAN) 네트워크에서 자율 최적화를 위한 확장성 있고 적응 가능한 프레임워크인 다중 에이전트 팀 학습(MATL)을 제안한다. O-RAN 기능 분할(O-CU, O-DU, O-RU) 전반에 AI 기반 에이전트를 배치함으로써, 공유 피드백과 조율된 학습을 통해 탈중앙화된 협업적 의사결정을 가능하게 하여, 인간 간섭을 최소화하면서도 동적이고 복잡한 조건에서도 네트워크 성능을 크게 향상시킨다.

ABSTRACT

Starting from the Cloud Radio Access Network (C-RAN), continuing with the virtual Radio Access Network (vRAN) and most recently with Open RAN (O-RAN) initiative, Radio Access Network (RAN) architectures have significantly evolved in the past decade. In the last few years, the wireless industry has witnessed a strong trend towards disaggregated, virtualized and open RANs, with numerous tests and deployments world wide. One unique aspect that motivates this paper is the availability of new opportunities that arise from using machine learning to optimize the RAN in closed-loop, i.e. without human intervention, where the complexity of disaggregation and virtualization makes well-known Self-Organized Networking (SON) solutions inadequate. In our view, Multi-Agent Systems (MASs) with team learning, can play an essential role in the control and coordination of controllers of O-RAN, i.e. near-real-time and non-real-time RAN Intelligent Controller (RIC). In this article, we first present the state-of-the-art research in multi-agent systems and team learning, then we provide an overview of the landscape in RAN disaggregation and virtualization, as well as O-RAN which emphasizes the open interfaces introduced by the O-RAN Alliance. We present a case study for agent placement and the AI feedback required in O-RAN, and finally, we identify challenges and open issues to provide a roadmap for researchers.

연구 동기 및 목표

• 기존의 자기조직화 네트워킹(SON) 기술이 고도로 분할되고, 가상화되며, 다수의 벤더가 참여하는 O-RAN 환경에서 겪는 한계를 해결하기 위해.
• 탈중앙화된 협업적 에이전트를 통해 피드백 루프를 형성하고, 공동 정책 최적화를 통한 AI 기반 네트워크 최적화를 실현하기 위해.
• 중홀(midhaul) 제약 조건을 고려하여 O-RAN 기능 분할(O-CU, O-DU, O-RU) 전반에 걸쳐 최적의 에이전트 배치 및 피드백 메커니즘을 규명하기 위해.
• 다중 에이전트 팀 학습에서 수렴성, 확장성, 부분 관측 가능성, 지연된 피드백 등의 핵심 과제를 분석하기 위해.
• 실제 O-RAN 구현에 팀 학습을 도입하기 위한 연구 로드맵 제공하기 위해.

제안 방법

• O-RAN 기능 계층 전반에 AI 기반 네트워크 기능(AIeNF) 에이전트를 도입: O-CU(중앙집중식 제어), O-DU(분산형 베이스밴드), O-RU(라디오 프론트엔드).
• 에이전트들이 환경의 부분 관측 가능성에도 불구하고 공유 피드백과 공동 정책 최적화를 통해 협업 학습을 수행하는 팀 학습 기반 기술을 구현.
• 7-2x 프론트힐 분할을 아키텍처 기반으로 사용하여 CU, DU, RU 전반에 걸쳐 기능 분할과 AI 에이전트 배치의 유연성을 확보.
• 중홀 대역폭과 거리 제약 조건을 모델링하여, 타당한 에이전트 배치 위치와 피드백 페이로드 크기를 결정.
• 동적 조건 하에서도 수렴성을 확보하기 위해 빠른 부팅 및 오프라인 사전 학습을 지원하는 탈중앙화 학습 기법 적용.
• 에이전트 간 환경 모델링 정확도와 통신 오버헤드 사이의 균형을 고려한 정보 공유 프로토콜 설계.

실험 결과

연구 질문

• RQ1 다중 에이전트 팀 학습은 O-RAN의 기능 분할(O-CU, O-DU, O-RU) 전반에 효과적으로 아키텍처화되고 구현될 수 있는가?
• RQ2 O-RAN 스택의 다양한 계층에 AI 에이전트를 배치할 경우 피드백 지연, 중홀 대역폭, 시스템 수렴성 측면에서 성능 상충 관계는 어떻게 나타나는가?
• RQ3 부분 관측 가능성과 지연된 피드백은 O-RAN 환경에서 팀 학습의 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 전체 성능와 국지적 학습 효율성의 균형을 고려할 때, 다중 에이전트 시스템에 최적의 팀 규모와 구조는 무엇인가?
• RQ5 에이전트가 불완전하거나 악성 정보를 공유할 수 있는 상황에서, 다중 에이전트 협업의 보안성과 신뢰성을 확보하는 방법은 무엇인가?

주요 결과

• 다중 에이전트 팀 학습은 O-CU, O-DU, O-RU에 위치한 에이전트들이 중앙 집중식 제어 없이도 협업하여 네트워크 성능을 향상시킬 수 있도록 하여, O-RAN에서 확장성 있고 탈중앙화된 최적화를 가능하게 한다.
• 중홀 범위와 대역폭 제약 조건이 AI 피드백의 최대 페이로드 크기에 상당한 영향을 미치며, 그림 3에 따르면 높은 피드백 데이터 전송률일수록 전송 거리의 가능 범위가 감소한다.
• 탈중앙화된 팀 학습에서 수렴성은 여전히 주요 과제로 남아 있으며, 특히 확률적이고 부분 관측 가능한 조건에서 빠른 부팅 또는 오프라인 사전 학습이 필요하다.
• 에이전트 수가 증가함에 따라 상태 공간과 행동 공간의 지수적 증가로 인해 확장성 문제가 발생하며, 효율적인 통신 및 조율 메커니즘이 요구된다.
• 부분 관측 가능성은 에이전트가 제한된 관측치로부터 다른 에이전트의 행동을 추론할 수 있는 강력한 모델을 사용하지 않는 한, 비최적의 결정을 초래한다.
• 지연된 피드백과 지터(jitter)는 학습을 불안정하게 만들며, 에이전트가 오래된 환경 상태를 바탕으로 행동하게 되어 전체 네트워크 성능이 저하된다.