[논문 리뷰] EdgeSlice: Slicing Wireless Edge Computing Network with Decentralized Deep Reinforcement Learning

Qiang Liu, Tao Han외 1명|arXiv (Cornell University)|2020. 03. 28.

Software-Defined Networks and 5G참고 문헌 38인용 수 4

한 줄 요약

EdgeSlice는 무선 엣지 컴퓨팅 네트워크에서 동적 엔드 투 엔드 네트워크 슬라이싱을 위한 탈중앙화된 딥 강화학습(D-DRL) 프레임워크를 제안한다. 중심 성능 조정자와 다수의 탈중앙화된 오케스트레이션 에이전트를 사용하여 무선, 전송 및 컴퓨팅 도메인 간의 자원 할당을 최적화하며, 기준 방법인 TARO에 비해 서비스 수준 합의(SLA) 이행도, 확장성 및 성능 향상이 뚜렷하다.

ABSTRACT

5G and edge computing will serve various emerging use cases that have diverse requirements of multiple resources, e.g., radio, transportation, and computing. Network slicing is a promising technology for creating virtual networks that can be customized according to the requirements of different use cases. Provisioning network slices requires end-to-end resource orchestration which is challenging. In this paper, we design a decentralized resource orchestration system named EdgeSlice for dynamic end-to-end network slicing. EdgeSlice introduces a new decentralized deep reinforcement learning (D-DRL) method to efficiently orchestrate end-to-end resources. D-DRL is composed of a performance coordinator and multiple orchestration agents. The performance coordinator manages the resource orchestration policies in all the orchestration agents to ensure the service level agreement (SLA) of network slices. The orchestration agent learns the resource demands of network slices and orchestrates the resource allocation accordingly to optimize the performance of the slices under the constrained networking and computing resources. We design radio, transport and computing manager to enable dynamic configuration of end-to-end resources at runtime. We implement EdgeSlice on a prototype of the end-to-end wireless edge computing network with OpenAirInterface LTE network, OpenDayLight SDN switches, and CUDA GPU platform. The performance of EdgeSlice is evaluated through both experiments and trace-driven simulations. The evaluation results show that EdgeSlice achieves much improvement as compared to baseline in terms of performance, scalability, compatibility.

연구 동기 및 목표

• 다양하고 이질적인 서비스 요구사항을 가진 무선 엣지 컴퓨팅 네트워크에서 동적이고 엔드 투 엔드 자원 오케스트레이션의 과제를 해결하기 위해.
• 무선, 전송, 컴퓨팅 도메인의 다중 도메인 자원 간 상관관계를 설명하는 폐형 모델의 부재 문제를 해결하기 위해.
• 지리적으로 분산된 기지국과 엣지 서버 간에 확장 가능하고 효율적이며 적응 가능한 자원 할당을 가능하게 하기 위해.
• 성능 함수에 대한 사전 지식이 필요 없이도 서비스 수준 합의(SLA) 이행도를 유지하는 모델 기반의 탈중앙화된 학습 프레임워크를 설계하기 위해.
• O-RAN, SDN, GPU 플랫폼을 지원하는 런타임 슬라이스 재구성 기능을 구현하고 평가하는 프로토타입 시스템을 구현하기 위해.

제안 방법

• EdgeSlice는 중심 성능 조정자와 다수의 분산된 오케스트레이션 에이전트를 갖춘 탈중앙화된 딥 강화학습(D-DRL) 아키텍처를 사용한다.
• 성능 조정자는 에이전트 간 자원 오케스트레이션 정책을 조율함으로써 SLA 이행도를 보장한다.
• 각 오케스트레이션 에이전트는 딥 강화학습을 사용하여 동적 슬라이스 수요와 자원 제약 조건에 적응하는 최적의 자원 할당 정책을 학습한다.
• 무선, 전송 및 컴퓨팅 관리자들은 오케스트레이션 조치에 기반한 런타임 자원 구성 기능을 제공한다.
• 시스템은 무선 액세스에 OpenAirInterface(OAI), 전송에 SDN 제어 기반 OpenDayLight(ODL), 엣지 컴퓨팅에 CUDA 기반 GPU 플랫폼을 사용한 프로토타입 환경에서 구현되었다.
• D-DRL 프레임워크는 실제 트레이스 기반 시뮬레이션과 물리적 프로토타입 네트워크를 모두 활용하여 훈련 및 평가되었다.

실험 결과

연구 질문

• RQ1 다양하고 동적이고 이질적인 자원 수요를 가진 무선 엣지 컴퓨팅 네트워크에서 엔드 투 엔드 네트워크 슬라이싱을 어떻게 효율적으로 오케스트레이션할 수 있는가?
• RQ2 모델 기반의 탈중앙화된 딥 강화학습 접근 방식이 성능 함수를 알지 못하는 조건에서 중앙집중식 또는 히وري스틱 방법보다 SLA 이행도를 더 잘 유지할 수 있는가?
• RQ3 네트워크 슬라이스와 분산된 인프라 구성 요소의 수가 증가함에 따라 시스템은 어떻게 확장되는가?
• RQ4 트래픽과 자원 가용성의 공간적 분포가 슬라이스 성능과 오케스트레이션 효율성에 어떤 영향을 미치는가?
• RQ5 모델 기반의 강화학습이 네트워크 슬라이싱의 복잡한 다중 도메인 트레이드오프를 효과적으로 관리할 수 있는가?

주요 결과

• EdgeSlice는 복잡하고 비선형적인 성능 함수가 적용된 시나리오에서 기준 방법인 TARO에 비해 뚜렷한 성능 향상을 달성한다.
• 시스템은 다양한 네트워크 토폴로지와 슬라이스 워크로드에서 뛰어난 확장성과 호환성을 보여준다.
• 탈중앙화된 D-DRL 접근 방식은 폐형 성능 모델이 필요 없이도 SLA 이행도를 유지하면서 동적이고 실시간 자원 적응을 가능하게 한다.
• 트레이스 기반 시뮬레이션과 프로토타입 평가 결과, EdgeSlice는 다양한 트래픽 조건 하에서 성능 저하를 감소시키고 자원 활용도를 향상시킴을 확인하였다.
• 성능 조정자가 다수의 에이전트를 효과적으로 조율하여 글로벌 SLA 준수를 확보하면서도 지역적 의사결정 자율성을 유지한다.
• 시스템은 무선, 전송 및 컴퓨팅 도메인 전반에서 저지연 및 고대역폭 요구 사양을 포함한 다양한 서비스 요구 사양을 효과적으로 처리하는 데에 강건성을 보였다.