[논문 리뷰] Multi-Tenant Cross-Slice Resource Orchestration: A Deep Reinforcement Learning Approach

Xianfu Chen, Zhifeng Zhao외 5명|arXiv (Cornell University)|2018. 07. 17.

Software-Defined Networks and 5G참고 문헌 53인용 수 3

한 줄 요약

이 논문은 서비스 제공자(SP)들이 이동 통신 사용자(MU)를 지원하기 위해 채널 액세스를 놓고 경쟁하는 RAN 전용 슬라이싱 환경에서, 다중 임대자 크로스슬라이스 리소스 오케스트레이션을 위한 딥 강화학습(DRL) 기반 접근법을 제안한다. 문제를 스토하스틱 게임으로 모델링하고, 각 SP의 마르코프 결정 과정(MDP)에 선형 분해를 적용함으로써, 최적의 입찰 및 오프로딩 정책을 독립적이고 온라인으로 학습할 수 있도록 하여, 유틸리티, 큐 길이, 에너지 효율성 측면에서 기준 대비 뚜렷한 성능 향상을 달성한다.

ABSTRACT

With the cellular networks becoming increasingly agile, a major challenge lies in how to support diverse services for mobile users (MUs) over a common physical network infrastructure. Network slicing is a promising solution to tailor the network to match such service requests. This paper considers a system with radio access network (RAN)-only slicing, where the physical infrastructure is split into slices providing computation and communication functionalities. A limited number of channels are auctioned across scheduling slots to MUs of multiple service providers (SPs) (i.e., the tenants). Each SP behaves selfishly to maximize the expected long-term payoff from the competition with other SPs for the orchestration of channels, which provides its MUs with the opportunities to access the computation and communication slices. This problem is modelled as a stochastic game, in which the decision makings of a SP depend on the global network dynamics as well as the joint control policy of all SPs. To approximate the Nash equilibrium solutions, we first construct an abstract stochastic game with the local conjectures of channel auction among the SPs. We then linearly decompose the per-SP Markov decision process to simplify the decision makings at a SP and derive an online scheme based on deep reinforcement learning to approach the optimal abstract control policies. Numerical experiments show significant performance gains from our scheme.

연구 동기 및 목표

• 공유된 RAN 전용 슬라이싱 환경에서 다수의 이기적인 서비스 제공자(SP) 간에 제한된 라디오 리소스를 조율하는 데 도전하는 문제를 해결하기 위해.
• 동적이고 경쟁적인 조건에서 이동 통신 사용자(MU)의 컴퓨팅 및 통신 리소스 간의 효율적인 크로스슬라이스 조율을 가능하게 하기 위해.
• 각 SP가 독립적으로 행동하면서도 나시 균형(Nash equilibrium) 행동을 근사할 수 있도록 가능한 확장성 있고 탈중앙화된 의사결정 프레임워크를 설계하기 위해.
• 전체 네트워크 상태에 대한 의존도와 다른 SP의 전략에 대한 완전한 지식을 줄이기 위해 추측 기반 추상화와 온라인 DRL을 통해 실현하기 위해.
• 다양한 트래픽 부하와 채널 가용성 조건 하에서 유틸리티, 큐 길이, 패킷 손실, 에너지 소비 측면에서 전체 시스템 성능을 향상시키기 위해.

제안 방법

• 각 SP가 장기적 수익을 최대화하고자 하는 비협력적 스토하스틱 게임으로 다중 임대자 리소스 오케스트레이션 문제를 수립한다.
• 전체 네트워크 상태 의존성을 다른 SP들의 행동에 대한 국소적 추측으로 대체하는 추상 스토하스틱 게임 모델을 도입한다.
• 각 SP의 마르코프 결정 과정(MDP)을 단순화하기 위해 선형 분해를 적용하여, 각 SP별로 독립적인 의사결정을 가능하게 한다.
• 전체 시스템 상태 지식이 필요 없이 실시간으로 최적의 제어 정책을 반복적으로 학습할 수 있도록 온라인 딥 강화학습(DRL) 기법을 개발한다.
• 각 스케줄링 슬롯 시작 시 채널 경매를 조정하기 위해 SDN 오케스트레이터 수준에서 VCG 가격 설정 메커니즘을 활용한다.
• DRL 구성 요소의 학습 안정성과 샘플 효율성을 향상시키기 위해 듀얼 듀얼 DQN 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 경쟁적인 SP들이 존재하는 다중 임대자 RAN 전용 슬라이싱 환경에서, 탈중앙화되고 확장 가능한 리소스 오케스트레이션 체계를 어떻게 설계할 수 있는가?
• RQ2 공유된 RAN 환경에서 SP 간의 정보 불완전성과 전략적 행동이 시스템 성능에 미치는 영향은 어떠한가?
• RQ3 동적 트래픽과 제한된 채널 액세스 조건 하에서 DRL 기반 접근법이 최적의 입찰, 오프로딩 및 스케줄링 정책을 효과적으로 학습할 수 있는가?
• RQ4 제안된 방법이 유틸리티, 큐 안정성, 에너지 효율성 측면에서 기준 전략 대비 어떻게 비교되는가?
• RQ5 각 SP의 MDP에 대한 선형 분해가 계산 타당성과 학습 수렴성에 얼마나 기여하는가?

주요 결과

• 제안된 DRL 기반 방법은 다양한 트래픽 부하와 채널 수 조건에서 모든 세 가지 기준 대비 높은 평균 MU 유틸리티를 달성한다.
• 패킷 도착률 λ=8일 때, 제안된 방법은 기준 1 대비 평균 큐 길이를 최대 40% 감소시키고 패킷 손실을 최대 50% 감소시킨다.
• 채널 수가 증가함에 따라 제안된 방법은 기준 대비 평균 큐 길이와 패킷 손실을 더 효과적으로 줄여, 향상된 확장성을 보여준다.
• 기준 2는 높은 오프로딩 비율로 인해 CPU 에너지 소비를 줄이지만, 제안된 방법은 약간 더 높은 CPU 에너지 소비를 감수함에도 불구하고 패킷 손실을 최소화하여 더 우수한 QoS를 유지한다.
• 학습 과정 전반에 걸쳐 안정적인 수렴을 보이며 유틸리티, 큐 관리, 에너지 효율성 측면에서 일관된 성능 향상을 보인다.
• 각 SP의 MDP에 대한 선형 분해를 통해 효과적인 독립적 학습이 가능해지고 성능을 희생시키지 않은 채 계산 복잡도를 감소시킬 수 있다.