[논문 리뷰] Deep Reinforcement Learning for Task Offloading in Mobile Edge Computing Systems

Ming Tang, Vincent W. S. Wong|arXiv (Cornell University)|2020. 04. 10.

IoT and Edge/Fog Computing참고 문헌 31인용 수 15

한 줄 요약

이 논문은 비나누어지는, 지연 민감한 작업과 알려지지 않은 엣지 부하 동역학을 가진 모바일 에지 컴퓨팅(MEC) 시스템을 대상으로 모델 기반 딥 강화학습(DRL) 기반의 분산 작업 오프로딩 알고리즘을 제안한다. LSTM, 델루이 DQN, 더블-DQN 기법을 통합함으로써 각 장치가 작업을 오프로딩할지 여부와 어디로 오프로딩할지를 자율적으로 결정할 수 있게 하여, 기준 대비 95.4%까지 높은 비율로 놓친 작업을 감소시키고 평균 지연을 30.1% 감소시킨다.

ABSTRACT

In mobile edge computing systems, an edge node may have a high load when a large number of mobile devices offload their tasks to it. Those offloaded tasks may experience large processing delay or even be dropped when their deadlines expire. Due to the uncertain load dynamics at the edge nodes, it is challenging for each device to determine its offloading decision (i.e., whether to offload or not, and which edge node it should offload its task to) in a decentralized manner. In this work, we consider non-divisible and delay-sensitive tasks as well as edge load dynamics, and formulate a task offloading problem to minimize the expected long-term cost. We propose a model-free deep reinforcement learning-based distributed algorithm, where each device can determine its offloading decision without knowing the task models and offloading decision of other devices. To improve the estimation of the long-term cost in the algorithm, we incorporate the long short-term memory (LSTM), dueling deep Q-network (DQN), and double-DQN techniques. Simulation results with 50 mobile devices and five edge nodes show that the proposed algorithm can reduce the ratio of dropped tasks and average task delay by 86.4%-95.4% and 18.0%-30.1%, respectively, when compared with several existing algorithms.

연구 동기 및 목표

• 알려지지 않은 시간에 따라 변하는 엣지 노드 부하 동역학을 가진 MEC 시스템에서 탈중앙화된 작업 오프로딩 문제를 해결한다.
• 작업 처리 지연과 마감 시간 위반으로 인한 작업 놓음으로 인한 기대 장기 비용을 최소화한다.
• 각 모바일 장치가 다른 장치의 작업이나 전역 시스템 상태를 알지 못하는 분산 알고리즘을 설계한다.
• 고급 딥 강화학습 컴포넌트를 사용하여 동적인 환경에서 장기 비용 추정을 향상시킨다.

제안 방법

• 지연 민감하고 나누어지지 않은 작업 제약 조건 하에서 장기 비용을 최소화하기 위해 작업 오프로딩 문제를 마르코프 결정 과정(MDP)으로 수식화한다.
• 학습 안정성을 향상시키기 위해 상태와 액션 가치 추정을 분리하는 델루이 아키텍처를 적용한 모델 기반 딥 Q네트워크(DQN)를 사용한다.
• 작업 도착 및 엣지 부하 동역학의 시간적 의존성을 모델링하기 위해 장기 단기 기억(LSTM) 네트워크를 통합하여 장기 비용 추정을 향상시킨다.
• Q-값 함수 근사에서 과대평가 오차를 줄이기 위해 더블-DQN을 사용하여 학습 수렴성과 성능을 향상시킨다.
• 완전히 탈중앙화된 의사결정: 각 장치가 국부적 관측과 보상만을 사용하여 자체 정책을 독립적으로 학습한다.
• 학습 안정성 향상과 샘플 효율성 향상을 위해 경험 재생과 타겟 네트워크를 사용하여 DRL 에이전트를 훈련시킨다.

실험 결과

연구 질문

• RQ1 알려지지 않은 시간에 따라 변하는 엣지 부하 동역학을 효과적으로 다룰 수 있는 분산형 모델 기반 DRL 기반 알고리즘이 MEC 시스템에서 유능한가?
• RQ2 LSTM, 델루이 DQN, 더블-DQN의 통합이 장기 비용 추정과 오프로딩 성능에 어떻게 기여하는가?
• RQ3 기존의 중심화된 및 분산 기반 기준 대비 제안된 알고리즘이 작업 놓음 비율과 평균 처리 지연을 얼마나 줄이는가?
• RQ4 고밀도 작업, 제한된 엣지 처리 능력 또는 높은 장치 계산 능력 등의 다양한 시스템 조건에서 알고리즘의 성능은 어떠한가?

주요 결과

• 고부하 조건에서 기준 방법 대비 제안된 알고리즘이 놓친 작업 비율을 86.4%에서 95.4%까지 감소시켰다.
• 모든 시험 환경에서 평균 작업 지연이 18.0%에서 30.1% 감소하였으며, 특히 고밀도 작업 조건에서 가장 뚜렷한 개선을 보였다.
• 모바일 장치 수가 150대로 증가했을 때, 알고리즘은 PGOA 및 ULOOF 대비 평균 지연을 9.0% 더 낮게 유지했다.
• 높은 장치 처리 능력(3.5 GHz) 조건에서, 알고리즘은 기준 대비 놓친 작업을 93.9%에서 96.5%까지 감소시켰다.
• 낮은 엣지 노드 처리 능력(15 GHz) 조건에서, 알고리즘은 놓친 작업을 최소 57.0% 감소시키고 평균 지연을 최소 9.4% 감소시켰다.
• 에지 처리 능력이 충분히 클 경우 알고리즘 성능이 거의 최적 수준에 수렴함을 확인하여 강건한 확장성을 보였다.