[논문 리뷰] Reinforcement Learning-based Resource Allocation in Fog RAN for IoT with Heterogeneous Latency Requirements

Almuthanna Nassar, Yasin Yılmaz|arXiv (Cornell University)|2018. 05. 27.

IoT and Edge/Fog Computing인용 수 7

한 줄 요약

이 논문은 이질적인 지연 요구 사항을 가진 사물인터넷(IoT) 기기의 서비스 결정을 최적화하기 위해 강화학습(RL) 기반의 리소스 할당 프레임워크를 제안한다. 문제를 마르코프 결정 과정(MDP)으로 공식화함으로써, 저자들은 Q-학습, SARSA, 기대값 기반 SARSA, 몬테카를로 방법을 적용하여 요청을 현지에서 처리할지 또는 클라우드로 오프로드할지 동적으로 결정한다. 이는 고정 임계값 방법에 비해 19개의 다양한 IoT 환경에서 뛰어난 성능을 달성한다.

ABSTRACT

In light of the quick proliferation of Internet of things (IoT) devices and applications, fog radio access network (Fog-RAN) has been recently proposed for fifth generation (5G) wireless communications to assure the requirements of ultra-reliable low-latency communication (URLLC) for the IoT applications which cannot accommodate large delays. Hence, fog nodes (FNs) are equipped with computing, signal processing and storage capabilities to extend the inherent operations and services of the cloud to the edge. We consider the problem of sequentially allocating the FN's limited resources to the IoT applications of heterogeneous latency requirements. For each access request from an IoT user, the FN needs to decide whether to serve it locally utilizing its own resources or to refer it to the cloud to conserve its valuable resources for future users of potentially higher utility to the system (i.e., lower latency requirement). We formulate the Fog-RAN resource allocation problem in the form of a Markov decision process (MDP), and employ several reinforcement learning (RL) methods, namely Q-learning, SARSA, Expected SARSA, and Monte Carlo, for solving the MDP problem by learning the optimum decision-making policies. We verify the performance and adaptivity of the RL methods and compare it with the performance of a fixed-threshold-based algorithm. Extensive simulation results considering 19 IoT environments of heterogeneous latency requirements corroborate that RL methods always achieve the best possible performance regardless of the IoT environment.

연구 동기 및 목표

• 퍼그 라디오 액세스 네트워크(Fog-RAN)에서 제한된 퍼그 노드(FN) 리소스를 효율적으로 할당하여 다양한 IoT 애플리케이션의 지연 요구 사항을 충족시키는 데 도전하는 것.
• 현지에서 또는 클라우드로 요청을 처리할지 결정하여 자원 낭비를 줄이고 시스템 유틸리티를 향상시키는 것.
• 시간이 지남에 따라 최적의 리소스 할당을 학습하는 동적이고 적응형 의사결정 정책을 개발하는 것.
• 다양한 IoT 트래픽 패턴 하에서 실시간, 맥락 인식 리소스 할당을 평가하고 비교하는 데 목적이 있는 다수의 RL 알고리즘을 적용하는 것.

제안 방법

• 상태가 현재 시스템 조건을 나타내고 행동이 현지 또는 클라우드 오프로드 결정을 나타내는 마르코프 결정 과정(MDP)으로 리소스 할당 문제를 공식화한다.
• Q-학습, SARSA, 기대값 기반 SARSA, 몬테카를로 방법을 포함한 네 가지 비정책 및 정책 기반 RL 알고리즘을 환경과의 상호작용을 통해 최적의 정책을 학습하는 데 적용한다.
• 지연 제약 조건과 시스템 부하를 기반으로 각 IoT 요청을 처리하거나 오프로드할 경우의 장기적 유틸리티를 추정하기 위해 상태-행동 가치 함수를 사용한다.
• 이질적인 애플리케이션 수요를 반영하기 위해 19개의 서로 다른 지연 요구 사항 프로파일을 가진 시뮬레이션된 IoT 트래픽을 사용하여 RL 에이전트를 훈련시킨다.
• 저지연 애플리케이션을 우선시하고 자원 과다 사용 또는 마감 시간 초과에 대해 벌점을 주는 보상 함수를 구현한다.
• 학습된 정책을 고정 임계값 기반 히우리스틱과 비교하여 적응성과 성능을 평가한다.

실험 결과

연구 질문

• RQ1 강화학습은 이질적인 지연 요구 사항을 가진 IoT를 위한 퍼그 라디오 액세스 네트워크(Fog-RAN)에서 최적의 리소스 할당 정책을 효과적으로 학습할 수 있는가?
• RQ2 다양한 IoT 트래픽 패턴 하에서 Q-학습, SARSA, 기대값 기반 SARSA, 몬테카를로 방법 등 다양한 RL 알고리즘의 성능과 수렴 속도는 어떻게 비교되는가?
• RQ3 고정 임계값 히우리스틱에 비해 RL 기반 접근 방식은 다양한 IoT 구현 시나리오에서 일관되게 슈퍼리어 성능을 보이는가?
• RQ4 시스템 부하나 애플리케이션 지연 분포의 변화에 대해 RL 정책은 얼마나 강건한가?
• RQ5 강화학습 프레임워크는 엣지 컴퓨팅 환경에서의 동적 실시간 의사결정에 얼마나 잘 적응하는가?

주요 결과

• Q-학습, SARSA, 기대값 기반 SARSA, 몬테카를로 방법을 포함한 테스트된 모든 RL 방법이 이질적인 지연 요구 사항을 가진 19개의 시뮬레이션된 IoT 환경에서 최적의 성능을 달성했다.
• RL 기반 접근 방식은 모든 테스트 시나리오에서 고정 임계값 히우리스틱을 뛰어넘는 일관된 적응성과 시스템 유틸리티를 보였다.
• 기대값 기반 SARSA는 가장 안정적인 학습 성능를 보였고, Q-학습은 대부분의 환경에서 더 빠른 수렴 속도를 보였다.
• RL 프레임워크는 현지 서비스와 클라우드 오프로드 사이의 균형을 효과적으로 유지하여 지연 위반을 최소화하고 자원 활용도를 극대화했다.
• 결과는 RL이 트래픽 패턴에 대한 사전 지식 없이도 복잡하고 시간에 따라 변하는 IoT 워크로드에 대해 동적으로 학습하고 적응할 수 있음을 확인한다.
• 이 연구는 URLLC 기반 IoT 애플리케이션을 위한 퍼그 라디오 액세스 네트워크(Fog-RAN)에서 실시간 맥락 인식 리소스 할당에 대해 RL이 실현 가능하고 강건한 솔루션임을 검증한다.