[논문 리뷰] Offloading and Resource Allocation with General Task Graph in Mobile Edge Computing: A Deep Reinforcement Learning Approach

Yan Jia, Suzhi Bi외 1명|arXiv (Cornell University)|2020. 02. 19.

IoT and Edge/Fog Computing참고 문헌 29인용 수 7

한 줄 요약

이 논문은 일반적인 작업 그래프를 갖는 모바일 에지 컴퓨팅에서 공동 오프로딩 및 자원 할당을 위한 딥 강화학습(DRL) 프레임워크를 제안한다. 에이서티스트 구조를 활용하며, 에너지-시간 비용(ETC)을 평가하기 위해 저복잡도 크리틱을 도입한다. 기존 최적화 방법에 비해 계산 복잡도를 크게 줄였음에도 불구하고 최적 성능의 최대 99.1%를 달성한다.

ABSTRACT

In this paper, we consider a mobile-edge computing system, where an access point assists a mobile device (MD) to execute an application consisting of multiple tasks following a general task call graph. The objective is to jointly determine the offloading decision of each task and the resource allocation under time-varying wireless fading channels and stochastic edge computing capability, so that the energy-time cost (ETC) of the MD is minimized. Solving the problem is particularly hard due to the combinatorial offloading decisions and the strong coupling among task executions under the general dependency model. Conventional numerical optimization methods are inefficient to solve such a problem, especially when the problem size is large. To address the issue, we propose a deep reinforcement learning (DRL) framework based on the actor-critic learning structure. In particular, the actor network utilizes a DNN to learn the optimal mapping from the input states to the binary offloading decision of each task. Meanwhile, by analyzing the structure of the optimal solution, we derive a low-complexity algorithm for the critic network to quickly evaluate the ETC performance of the offloading decisions output by the actor network. With the low-complexity critic network, we can quickly select the best offloading action and subsequently store the state-action pair in an experience replay memory as the training dataset to continuously improve the action generation DNN. To further reduce the complexity, we show that the optimal offloading decision exhibits an one-climb structure, which can be utilized to significantly reduce the search space of action generation. Numerical results show that for various types of task graphs, the proposed algorithm achieves up to $99.1\%$ of the optimal performance while significantly reducing the computational complexity compared to the existing optimization methods.

연구 동기 및 목표

• 모바일 에지 컴퓨팅(MEC) 시스템에서 시간에 따라 변하는 무선 채널과 확률적인 에지 컴퓨팅 능력 하에서 공동 오프로딩 및 자원 할당 문제를 해결하기 위해.
• 복잡한 종속 관계를 갖는 일반적인 작업 그래프로 모델링된 애플리케이션을 실행하는 모바일 디바이스의 에너지-시간 비용(ETC)을 최소화하기 위해.
• 대규모 또는 동적 환경에서 비효율적이고 비실용적인 기존 최적화 방법의 한계를 극복하기 위해.
• 최적 해의 구조적 특성, 예를 들어 '한 번의 이동 정책'(one-climb policy)을 활용하여 행동 공간을 줄이고 학습 효율을 향상시키기 위해.

제안 방법

• 제안된 DRL 프레임워크는 에이서티스트 아키텍처를 사용하며, 에이서트 네트워크는 시스템 상태(채널 이득 및 CPU 주파수)를 입력으로 받아 딥 신경망(DNN)을 통해 이진 오프로딩 결정을 출력한다.
• 크리틱 네트워크는 최적 해의 구조적 분석에서 유도된 저복잡도 알고리즘을 활용하여 오프로딩 결정의 ETC 성능을 신속하게 평가한다.
• 에이서트가 생성한 상태-행동 쌍과 크리틱이 평가한 결과를 이용해 경험 재생(Experience Replay)을 수행함으로써 정책을 반복적으로 개선한다.
• 이 방법은 디바이스와 에지 간에 실행이 최대 한 번만 이동하는 '한 번의 이동' 성질을 활용하여 오프로딩 행동의 탐색 공간을 극적으로 줄인다.
• 크리틱의 평가 함수는 계산적으로 효율적이게 설계되어 있어 일반적인 작업 그래프의 복잡한 종속 관계에도 불구하고 실시간 학습 및 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 접근법이 동적 무선 환경 하에서 일반적인 작업 그래프의 조합적 오프로딩 결정과 강한 작업 종속성 결합 문제를 효과적으로 다룰 수 있는가?
• RQ2 계산 비용이 높은 최적화 솔버에 의존하지 않고도 크리틱 네트워크가 오프로딩 결정의 ETC 평가를 신속하고 정확하게 수행할 수 있는가?
• RQ3 최적 오프로딩 정책에서 관찰되는 '한 번의 이동' 구조가 일반적인 작업 그래프에 대해서도 성립하는가? 그리고 이를 활용하여 행동 공간을 줄이고 학습 효율을 향상시킬 수 있는가?
• RQ4 기존 최적화 방법에 비해 계산 복잡도를 낮추면서도 제안된 DRL 프레임워크가 얼마나 근접한 최적의 ETC 성능를 달성할 수 있는가?

주요 결과

• 제안된 DRL 프레임워크는 다양한 작업 그래프 유형에서 최적의 에너지-시간 비용(ETC) 성능의 최대 99.1%를 달성하여 근접 최적성을 입증한다.
• 저복잡도 크리틱 네트워크 덕분에 오프로딩 결정 평가가 신속하게 이루어져 기존 수치 최적화 방법에 비해 훨씬 효율적인 학습 과정을 가능하게 한다.
• '한 번의 이동' 정책 성질을 활용함으로써 오프로딩 행동의 탐색 공간이 감소하여 수렴 속도가 빨라지고 샘플 효율성이 향상된다.
• 기존 히우리스틱 및 볼록 근사 기반 방법에 비해 성능과 동적 채널 및 컴퓨팅 조건에 대한 적응성 면에서 뛰어나다.