[논문 리뷰] Resource Allocation for Edge Computing in IoT Networks via Reinforcement Learning

Xiaolan Liu, Zhijin Qin외 1명|arXiv (Cornell University)|2019. 03. 05.

IoT and Edge/Fog Computing참고 문헌 16인용 수 11

한 줄 요약

이 논문은 실시간 채널 상태, 작업 큐 상태 및 잔여 엣지 디바이스 계산 자원을 기반으로 동적으로 작업 오픈로드 여부를 결정하여 전력 소비와 작업 실행 지연 시간의 가중합을 최소화하는 에psilon-greedy Q-학습 기반의 작업 오픈로드 알고리즘을 제안한다. 시뮬레이션 결과, 로컬 또는 순수 엣지 컴퓨팅 모드에 비해 에너지 효율성과 지연 시간 간의 우월한 트레이드오프를 달성한다.

ABSTRACT

In this paper, we consider resource allocation for edge computing in internet of things (IoT) networks. Specifically, each end device is considered as an agent, which makes its decisions on whether offloading the computation tasks to the edge devices or not. To minimise the long-term weighted sum cost which includes the power consumption and the task execution latency, we consider the channel conditions between the end devices and the gateway, the computation task queue as well as the remaining computation resource of the end devices as the network states. The problem of making a series of decisions at the end devices is modelled as a Markov decision process and solved by the reinforcement learning approach. Therefore, we propose a near optimal task offloading algorithm based on Q-learning. Simulations validate the feasibility of our proposed algorithm, which achieves a better trade-off between the power consumption and the task execution latency compared to these of edge computing and local computing modes.

연구 동기 및 목표

• 클라우드 중심 컴퓨팅 환경에서 자원이 제한된 IoT 엔드 디바이스가 겪는 높은 지연 시간과 에너지 비용 문제를 해결하기 위해.
• 시간에 따라 변하는 채널 상태, 작업 큐 역학, 엔드 디바이스 계산 가용성에 적응하는 동적 작업 오픈로드 정책을 설계하기 위해.
• 엣지 컴퓨팅 환경에서 전력 소비와 작업 실행 지연 시간의 장기적 가중합을 최소화하기 위해.
• 환경 통계에 대한 사전 지식이 없는 상태에서 작동하는 강화학습 솔루션을 개발하기 위해.
• 실제 IoT 구현 환경에서 에너지 효율성과 저지연 처리 간의 트레이드오프를 평가하기 위해.

제안 방법

• 각 엔드 디바이스가 독립된 에이전트로 작용하는 마르코프 결정 과정(MDP)으로 작업 오픈로드 결정을 모델링한다.
• 상태 공간을 채널 품질, 작업 큐 길이, 엔드 디바이스의 잔여 계산 용량으로 정의한다.
• 에psilon-greedy 탐색을 사용한 Q-학습 알고리즘을 적용하여 오픈로드 결정에 대한 최적 정책을 학습한다.
• 목표를 균형 잡기 위해 역수 지연 시간과 전력 소비의 가중합으로 보상 함수를 정의한다.
• 큰 또는 연속적인 상태 공간에서 상태-행동 가치 추정을 위해 함수 근사기를 활용한다.
• 반복적인 환경 상호작용을 통해 에이전트를 훈련시키며, 관측된 보상과 상태 전이에 기반해 Q-값을 업데이트한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변하는 채널 상태와 제한된 장치 자원 하에서 IoT 엣지 네트워크에서 동적 작업 오픈로드를 어떻게 최적화할 수 있는가?
• RQ2 IoT를 위한 엣지 컴퓨팅에서 에너지 소비와 작업 실행 지연 시간 간의 최적 트레이드오프는 무엇인가?
• RQ3 강화학습이 시스템 역학에 대한 완전한 지식 없이도 근사 최적의 오픈로드 정책을 효과적으로 학습할 수 있는가?
• RQ4 잔여 계산 자원과 작업 큐 상태는 실시간 오픈로드 결정에 어떻게 영향을 미치는가?
• RQ5 고정 전략인 로컬 또는 엣지 전용 컴퓨팅과 비교해 본다면 제안된 방법의 성능는 어떻게 되는가?

주요 결과

• 제안된 Q-학습 기반 알고리즘은 15개의 시간 에포크 내에 안정적인 평균 비용으로 수렴하여 신뢰할 수 있는 정책 학습을 보여준다.
• 제안된 방법에서 누적 전력 소비는 엣지 컴퓨팅보다 낮고 로컬 컴퓨팅보다 높아, 전송 전력의 효율적 사용을 반영한다.
• 제안된 방법에서 작업 실행 지연 시간은 로컬 컴퓨팅보다 낮고 엣지 컴퓨팅보다 높아 균형 잡힌 성능를 보여준다.
• 특히 가중 요소 β=0.5일 때, 두 기준 모드보다 전력과 지연 시간 간의 더 우수한 트레이드오프를 달성한다.
• 로컬 컴퓨팅 모드는 엔드 디바이스 계산 자원 고갈로 조기에 종료되어, 고부하 상황에서 로컬 실행의 위험성을 드러낸다.
• 엣지 컴퓨팅 모드는 작업 전송 실패로 인해 조기에 종료되어 채널 장애에 취약함을 보여준다.