[논문 리뷰] Multi-agent Reinforcement Learning for Resource Allocation in IoT networks with Edge Computing

Xiaolan Liu, Jiadong Yu외 1명|arXiv (Cornell University)|2020. 04. 05.

IoT and Edge/Fog Computing참고 문헌 28인용 수 4

한 줄 요약

이 논문은 분산형 계산 오프로딩을 위한 독립 학습자 기반 다중 에이전트 Q-학습(IL-based MA-Q) 알고리즘을 제안한다. 이는 각 엣지 사용자가 로컬 실행 또는 엣지에서의 실행, 무선 접근 기술, 서브채널 선택에 대해 최적의 결정을 자율적으로 학습하여 장기적인 시스템 비용을 최소화한다. 제안된 방법은 중심화된 및 무작위 기준 대비 더 낮은 평균 비용과 향상된 에너지 효율성을 달성하며, 게이트웨이의 오버헤드가 감소하고 중심화된 채널 추정이 필요 없음을 특징으로 한다.

ABSTRACT

To support popular Internet of Things (IoT) applications such as virtual reality, mobile games and wearable devices, edge computing provides a front-end distributed computing archetype of centralized cloud computing with low latency. However, it's challenging for end users to offload computation due to their massive requirements on spectrum and computation resources and frequent requests on Radio Access Technology (RAT). In this paper, we investigate computation offloading mechanism with resource allocation in IoT edge computing networks by formulating it as a stochastic game. Here, each end user is a learning agent observing its local environment to learn optimal decisions on either local computing or edge computing with the goal of minimizing long term system cost by choosing its transmit power level, RAT and sub-channel without knowing any information of the other end users. Therefore, a multi-agent reinforcement learning framework is developed to solve the stochastic game with a proposed independent learners based multi-agent Q-learning (IL-based MA-Q) algorithm. Simulations demonstrate that the proposed IL-based MA-Q algorithm is feasible to solve the formulated problem and is more energy efficient without extra cost on channel estimation at the centralized gateway compared to the other two benchmark algorithms.

연구 동기 및 목표

• 스펙트럼, 계산 자원, 빈번한 무선 접근 기술(RAT) 전환에 대한 높은 요구 수준을 가진 자원 제약이 있고 동적인 IoT 엣지 네트워크의 과제를 해결하기 위해.
• 다른 사용자의 행동에 대한 사전 지식 없이도 사용자가 자율적이고 최적의 오프로딩 결정을 내릴 수 있도록 하기 위해.
• 결정의 분산화를 통해 중심화된 게이트웨이의 계산 및 신호 처리 부담을 줄이기 위해.
• 송신 전력, RAT, 서브채널 할당의 공동 최적화를 통해 장기적인 시스템 비용을 최소화하기 위해.

제안 방법

• 각 엔드 사용자가 독립적인 학습 에이전트로 행동하는 스토케스틱 게임으로 계산 오프로딩 문제를 수립한다.
• 각 에이전트가 분산된 방식으로 Q-학습을 통해 최적의 정책을 학습할 수 있도록 IL-based MA-Q 알고리즘을 개발한다.
• 각 에이전트는 자체 Q-테이블을 유지하고 채널 품질, 작업 크기, 에너지 소비와 같은 국지적 관측값에 기반해 이를 업데이트한다.
• 알고리즘은 학습된 행동의 이용과 새로운 전략 탐색의 균형을 이루기 위해 ε-그리디 탐색을 사용한다.
• 실제 IoT 엣지 환경을 반영하기 위해 동적인 사용자 이동성, 무작위 작업 도착, 변동하는 채널 조건을 시스템 모델에 반영한다.
• 시뮬레이션을 통해 사용자 수, 액세스 기술(LoRa, WiFi), 채널 구성 등 다양한 조건에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다수의 경쟁 사용자가 존재하는 동적이고 자원 제약이 있는 IoT 엣지 네트워크에서 계산 오프로딩을 어떻게 최적화할 수 있는가?
• RQ2 분산형 다중 에이전트 강화학습 접근법이 중심화된 또는 무작위 오프로딩 전략보다 더 낮은 시스템 비용과 높은 에너지 효율성을 달성할 수 있는가?
• RQ3 사용자 밀도와 채널 경쟁이 증가함에 따라 IL-based MA-Q 알고리즘이 얼마나 안정적으로 수렴하고 안정성을 유지하는가?
• RQ4 시스템 비용과 게이트웨이 오버헤드 측면에서 제안된 방법은 중심화된 방법과 비교해 어떻게 다른가?
• RQ5 다양한 탐색 비율(ε)이 학습 알고리즘의 수렴성과 성능에 어떤 영향을 미치는가?

주요 결과

• IL-based MA-Q 알고리즘은 시간이 지남에 따라 안정적으로 수렴하며, 학습 에피소드가 증가할수록 시간 슬롯당 평균 비용이 감소한다.
• 엔드 사용자 수가 27명 이하일 경우, Random 및 Centralized 기준 알고리즘보다 IL-based MA-Q 알고리즘이 더 낮은 평균 시스템 비용을 달성한다.
• 사용자 수가 높은 경우(예: 30명), IL-based MA-Q 알고리즘은 Centralized 접근 방식보다 약간 더 높은 비용을 유발하지만, 중심화된 채널 추정이 필요 없음을 보장한다.
• 알고리즘은 라디오 액세스 간섭을 효과적으로 방지하며, 30명의 사용자 중 20명이 간섭 없이 LoRa 및 WiFi 채널을 사용하여 작업을 성공적으로 오프로딩한다.
• 알고리즘은 다양한 탐색 비율에 대해 강건성을 보이며, ε = 0.9는 과도한 탐색으로 인해 더 높은 비용을 초래한다.
• 알고리즘의 분산 구조는 중심화된 방법 대비 게이트웨이의 계산 및 신호 처리 부하를 크게 감소시킨다.