[논문 리뷰] Self-play Learning Strategies for Resource Assignment in Open-RAN Networks

Xiaoyang Wang, Jonathan D. Thomas외 4명|arXiv (Cornell University)|2021. 03. 03.

Software-Defined Networks and 5G참고 문헌 34인용 수 4

한 줄 요약

이 논문은 오픈-RAN 네트워크에서 RU-DU 자원 할당 문제를 해결하기 위해 몬테카를로 트리 서치(MCTS)를 통합한 자기대결 딥 강화학습 접근법을 제안한다. 문제는 2차원 박스 패킹 문제로 모델링되며, 대표적인 박스 패킹 환경에서 오프라인으로 훈련된 방법은 실제 DU 사이트에서 평균 86.9%의 자원 활용도를 달성했으며, 온라인 상호작용이나 전문가 지시 없이도 기존 기준보다 뛰어난 성능을 보였다.

ABSTRACT

Open Radio Access Network (ORAN) is being developed with an aim to democratise access and lower the cost of future mobile data networks, supporting network services with various QoS requirements, such as massive IoT and URLLC. In ORAN, network functionality is dis-aggregated into remote units (RUs), distributed units (DUs) and central units (CUs), which allows flexible software on Commercial-Off-The-Shelf (COTS) deployments. Furthermore, the mapping of variable RU requirements to local mobile edge computing centres for future centralized processing would significantly reduce the power consumption in cellular networks. In this paper, we study the RU-DU resource assignment problem in an ORAN system, modelled as a 2D bin packing problem. A deep reinforcement learning-based self-play approach is proposed to achieve efficient RU-DU resource management, with AlphaGo Zero inspired neural Monte-Carlo Tree Search (MCTS). Experiments on representative 2D bin packing environment and real sites data show that the self-play learning strategy achieves intelligent RU-DU resource assignment for different network conditions.

연구 동기 및 목표

• 다양한 QoS 요구사항을 가진 오픈-RAN 네트워크에서의 동적이고 복잡한 RU-DU 자원 할당 문제를 해결하기 위해.
• 에지 클라우드 데이터 센터에서 RU를 중심집중 처리함으로써 전력 소비와 운영 비용을 줄이기 위해.
• 비용이 많이 들거나 시간이 오래 소요되는 지시자 데이터에 의존하지 않고도 효율적이고 확장 가능하며 적응 가능한 자원 관리를 가능하게 하기 위해.
• 다양한 네트워크 조건과 실제 구현 환경에서 잘 작동하는 일반화 가능한 강화학습 정책을 개발하기 위해.
• 실시간 네트워크 자원 할당을 위한 오프라인 훈련의 실현 가능성을 탐색하기 위해.

제안 방법

• RU-DU 자원 할당 문제는 RUs를 항목으로, 고정 너비와 가변 높이를 가진 DU를 상자로 모델링한 2차원 박스 패킹 문제로 간주된다.
• 자기대결 강화학습 프레임워크를 활용하여, 에이전트가 점점 더 강력한 자신들의 복제본과 경쟁함으로써 정책 성능을 향상시킨다.
• 딥 네트워크와 몬테카를로 트리 서치(MCTS)를 결합한 방법으로, 탐색을 안내하고 가치 함수 근사치를 제공한다. 이는 알파고 제로의 영감을 받았다.
• 자기대결 훈련을 가능하게 하기 위해 순위 기반 보상 메커니즘을 도입하여, 절대적 보상이 아닌 상대적 성능에서 학습한다.
• 최적 해가 보장되는 (즉, r_max = 1인) 합성 2차원 박스 패킹 환경에서 사전 훈련함으로써, 실제 사례로의 일반화를 가능하게 한다.
• 훈련된 정책은 추가적인 온라인 최적화 없이 실제 ORAN 사이트 데이터에 그대로 배포되어 운영 지연과 비용을 최소화한다.

실험 결과

연구 질문

• RQ1 전문가 지시 데이터에 접근할 수 없는 상황에서 자기대결 딥 강화학습이 오픈-RAN 네트워크에서 RU-DU 자원 할당 문제를 효과적으로 해결할 수 있는가?
• RQ2 최적 해가 보장되는 이상화된 2차원 박스 패킹 환경에서 사전 훈련된 모델이 비이상적인 제약 조건이 존재하는 실제 ORAN 구현 환경으로의 일반화 성능은 어떠한가?
• RQ3 실제 DU 사이트 데이터에서 히ュ리스틱 및 MCTS 기준선과 비교해 자기대결 RL을 통해 달성할 수 있는 자원 활용도와 보상 성능 수준은 어느 정도인가?
• RQ4 동적이고 대규모인 ORAN 환경에서 실시간 네트워크 자원 할당을 위해 오프라인 훈련이 온라인 상호작용을 대체할 수 있는가? 운영 비용과 지연을 줄일 수 있는가?
• RQ5 제안된 방법은 다양한 DU 용량과 피크 시간대의 트래픽 패턴에서도 높은 성능을 유지할 수 있는가?

주요 결과

• 자기대결 학습 방법은 DU2에서 평균 보상 1.000, DU1에서 0.943을 달성하여 모든 기준선을 크게 앞서는 성능을 보였다.
• 이 방법은 DU1에서 평균 86.9%, DU2에서 86.4%의 자원 활용도를 달성하여 RU 요구사항을 효율적으로 패킹하는 데 뛰어난 성능을 보였다.
• 최적 해가 보장되는 환경(r_max = 1)에서 훈련되었음에도 불구하고, 최적성이 보장되지 않는 실제 사례로의 일반화 성능이 뛰어났다.
• 오프라인 훈련 파라다임은 온라인 상호작용이나 실시간 네트워크 쿼리의 필요성을 제거하여 운영 비용과 지연을 줄였다.
• 피크 시간대의 트래픽이 다양하게 변동하는 CPU 및 처리 시간 요구사항을 가진 다양한 네트워크 조건에서도 높은 성능를 유지했다.
• 결과적으로 자기대결 RL에 MCTS와 딥 네트워크를 조합한 방법은 전문가 지시 없이도 실제 ORAN 환경에서 거의 최적의 패킹 성능을 달성할 수 있음을 보여주었다.