[논문 리뷰] Reinforcement-Learning-Based Resource Allocation in Fog Radio Access Networks for Various IoT Environments.

Almuthanna Nassar, Yasin Yılmaz|arXiv (Cornell University)|2018. 05. 27.

Energy Harvesting in Wireless Networks인용 수 11

한 줄 요약

이 논문은 무선 액세스 네트워크의 퍼그(fog)에서 동적으로 IoT 사용자를 현지에서 서비스할지 또는 클라우드로 오프로드할지 결정하기 위해 강화학습(RL) 기반의 자원 할당 프레임워크를 제안한다. 문제를 무한할인 및 유한할인 마르코프 결정 과정(MDP)으로 수식화함으로써, 환경 피드백에서 최적의 결정 임계값을 학습하며, 다양한 IoT 워크로드에서 유틸리티 극대화와 유휴 시간 감소를 균형 있게 이끌어내는 고정 임계값 정책보다 뛰어난 성능을 보인다.

ABSTRACT

Fog radio access network (F-RAN) has been recently proposed to satisfy the low-latency communication requirements of Internet of Things (IoT) applications. We consider the problem of sequentially allocating the limited resources of a fog node to a heterogeneous population of IoT applications with varying latency requirements. Specifically, for each service request it receives in time, fog node needs to decide whether to serve that user locally to provide it with low-latency communication service or to refer it to the cloud control center to keep valuable fog resources available for future users with potentially higher utility to the system (i.e., lower latency requirement). We formulate the problem as a Markov Decision Process (MDP) in two alternative formulations: infinite-horizon MDP (IH MDP) and finite-horizon MDP (FH MDP). In both IH and FH formulations, we present the optimal solution, known as the optimal policy, through Reinforcement Learning (RL). The optimal policies in both cases are learnt from the IoT environment using different RL methods. The significant advantage of the proposed RL methods over the straightforward approach of deciding based on a fixed threshold of utility is that the RL methods quickly learn the optimal decision thresholds from the IoT environment, and thus always achieve the best possible performance regardless of the environment. They strike the right balance between the two conflicting objectives, maximize the average total served utility vs. minimize the fog node's idle time. Extensive simulation results for various IoT environments corroborate the theoretical underpinnings of the proposed RL methods.

연구 동기 및 목표

• 다양한 지연 요구 사항을 가진 이질적인 IoT 애플리케이션에 대해 제한된 퍼그 노드 자원을 동적으로 할당하는 문제에 대응하기 위해.
• 시간 제약이 있는 IoT 환경에서 총 서비스 유틸리티 극대화와 퍼그 노드 유휴 시간 최소화 사이의 트레이드오프를 균형 있게 조절하기 위해.
• 고정 임계값에 의존하는 것이 아니라 실시간 환경 피드백에서 최적의 오프로딩 정책을 학습하는 적응형 의사결정 메커니즘을 개발하기 위해.
• 다양한 IoT 워크로드와 시스템 조건에서 제안된 RL 기반 접근법의 성능을 평가하기 위해.

제안 방법

• 불확실성 하에서의 순차적 의사결정을 모델링하기 위해 자원 할당 문제를 무한할인 마르코프 결정 과정(IH-MDP)과 유한할인 마르코프 결정 과정(FH-MDP) 모두로 수식화한다.
• 현재 시스템 상태와 사용자 유틸리티를 기반으로 사용자를 현지에서 서비스할지 또는 클라우드로 이관할지 결정하는 최적의 정책을 학습하기 위해 강화학습 기법을 적용한다.
• 값 반복과 Q-학습 기반 알고리즘을 사용하여 두 MDP 수식 모두에서 최적의 정책을 계산함으로써, 변화하는 IoT 트래픽 패턴에 대응할 수 있도록 시스템을 적응시킨다.
• 사용자 지연 요구 사항, 퍼그 자원 가용성, 이력 요청 패턴을 포함한 상태 표현을 사용하여 의사결정을 지원한다.
• 표본 효율성과 큰 상태 공간에서의 수렴을 향상시키기 위해 함수 근사와 경험 재현 기법을 구현한다.
• 다양한 IoT 환경에서의 시뮬레이션을 통해 시스템의 강건성과 적응 가능성 평가를 수행하여 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 각 도착하는 IoT 요청에 대해 퍼그 노드는 지연과 자원 활용도를 균형 있게 유지하면서 현지 서비스와 클라우드 오프로딩 사이에서 최적으로 어떻게 결정할 수 있는가?
• RQ2 이질적인 IoT 환경에서 고정 임계값 정책에 비해 RL 기반 의사결정의 성능 향상은 어느 정도인가?
• RQ3 무한할인 및 유한할인 MDP 수식화 방식은 F-RAN의 효과적인 자원 할당 정책을 학습하는 데 어떻게 비교되는가?
• RQ4 환경에 대한 사전 지식 없이도 RL이 다양한 IoT 트래픽 패턴과 지연 요구 사항에 얼마나 잘 적응할 수 있는가?
• RQ5 학습 기반 임계값은 전체 시스템 유틸리티와 퍼그 노드 유휴 시간에 어떤 영향을 미치는가?

주요 결과

• 모든 테스트된 IoT 환경에서 RL 기반 접근법은 고정 임계값 정책보다 총 서비스 유틸리티 극대화 측면에서 일관되게 뛰어난 성능을 보였다.
• 학습된 결정 임계값을 통해 워크로드 변화에 동적으로 대응함으로써, 퍼그 노드 유휴 시간이 크게 감소했다.
• 예측 가능한 요청 시퀀스가 있는 시간 제약이 있는 시나리오에서는 유한할인 MDP 수식화가 더 빠른 수렴과 더 나은 성능을 보였다.
• 무한할인 MDP 수식화는 안정된 상태 또는 반복적인 트래픽 패턴에서 강력한 장기적 유틸리티 최적화를 제공했다.
• 두 RL 수식화 모두 다양한 IoT 워크로드에 효과적으로 적응하여 사전에 트래픽 분포를 알지 못하더라도 강건성과 일반화 능력을 보였다.
• 학습 과정을 통해 시스템은 즉각적인 유틸리티와 향후 자원 가용성 사이의 최적의 트레이드오프를 자동으로 발견할 수 있었다.