[논문 리뷰] DMRO:A Deep Meta Reinforcement Learning-based Task Offloading Framework for Edge-Cloud Computing

Guanjin Qu, Huaming Wu|arXiv (Cornell University)|2020. 08. 23.

IoT and Edge/Fog Computing참고 문헌 106인용 수 8

한 줄 요약

이 논문은 동적인 IoT 환경에서 빠르고 적응 가능한 오프로딩 결정을 가능하게 하기 위해 딥 Q러닝과 메타러닝을 융합한 딥 메타 강화학습 프레임워크인 DMRO를 제안한다. 이 프레임워크는 이전에 학습된 전이 가능한 초기 신경망 가중치를 학습함으로써 빠른 수렴과 뛰어난 성능을 달성하며, 가중치 지연과 에너지 소비를 최소화하는 데서 DQN 및 기존 오프로딩 기법들을 능가한다.

ABSTRACT

With the continuous growth of mobile data and the unprecedented demand for computing power, resource-constrained edge devices cannot effectively meet the requirements of Internet of Things (IoT) applications and Deep Neural Network (DNN) computing. As a distributed computing paradigm, edge offloading that migrates complex tasks from IoT devices to edge-cloud servers can break through the resource limitation of IoT devices, reduce the computing burden and improve the efficiency of task processing. However, the problem of optimal offloading decision-making is NP-hard, traditional optimization methods are difficult to achieve results efficiently. Besides, there are still some shortcomings in existing deep learning methods, e.g., the slow learning speed and the failure of the original network parameters when the environment changes. To tackle these challenges, we propose a Deep Meta Reinforcement Learning-based offloading (DMRO) algorithm, which combines multiple parallel DNNs with Q-learning to make fine-grained offloading decisions. By aggregating the perceptive ability of deep learning, the decision-making ability of reinforcement learning, and the rapid environment learning ability of meta-learning, it is possible to quickly and flexibly obtain the optimal offloading strategy from the IoT environment. Simulation results demonstrate that the proposed algorithm achieves obvious improvement over the Deep Q-Learning algorithm and has strong portability in making real-time offloading decisions even in time-varying IoT environments.

연구 동기 및 목표

• 동적인 IoT-엣지-클라우드 환경에서 딥 강화학습의 느린 학습 속도와 낮은 이식성 문제를 해결하기 위해.
• 의존성 있는 작업을 포함한 이질적인 컴퓨팅 환경에서 작업 오프로딩 지연과 에너지 소비를 최소화하기 위해.
• MEC 환경이 변화할 경우 오프로딩 정책의 빠른 적응을 가능하게 하여 재학습 오버헤드를 줄이기 위해.
• 자원 제약이 있는 IoT 디바이스에 적합한 확장성 있고 실시간 오프로딩 결정 프레임워크를 설계하기 위해.

제안 방법

• 프레임워크는 IoT 디바이스, 엣지 서버, 클라우드 서버 간의 오프로딩 결정을 모델링하기 위해 다중 에이전트 딥 Q네트워크(DQN) 아키텍처를 사용한다.
• 다양한 환경 조건에 일반화할 수 있는 초기 신경망 가중치를 학습하기 위해 메타러닝을 통합한다.
• 메타러너는 DQN 정책 네트워크의 초기화를 최적화하여 새로운 환경에서 최소한의 데이터로도 신속한 피지테이닝을 가능하게 한다.
• 시스템은 지연과 에너지 소비를 균형 있게 고려하는 다목적 최적화 문제로 오프로딩를 모델링한다.
• 지연과 에너지 소비를 조합한 가중치 비용 함수를 사용하며, 응용 프로그램의 우선순위에 따라 가중치를 조정할 수 있다.
• 훈련을 안정화하기 위해 경험 리플레이와 타겟 네트워크를 사용하며, 여러 시뮬레이션 환경에서 메타훈련을 수행한다.

실험 결과

연구 질문

• RQ1 메타러닝은 동적인 엣지-클라우드 오프로딩 환경에서 딥 강화학습의 일반화 능력과 적응 속도를 향상시키는가?
• RQ2 환경 변화가 발생할 경우, 제안된 DMRO 프레임워크는 DQN과 같은 전통적인 DRL 방법에 비해 수렴 속도와 성능에서 뛰어나게 되는가?
• RQ3 DMRO 프레임워크는 로컬 전용, 엣지 전용, 클라우드 전용 오프로딩 전략에 비해 총 오프로딩 비용(지연 + 에너지)을 얼마나 줄일 수 있는가?
• RQ4 메타학습을 통한 초기화가 환경 변화 시 신속한 수렴을 얼마나 효과적으로 가능하게 하는가?
• RQ5 환경 변화 후에도 프레임워크는 최소한의 재학습으로 저비용 오프로딩 결정을 유지할 수 있는가?

주요 결과

• 모든 지연과 에너지 소비 비율을 테스트한 결과, DMRO는 DQN, 로컬 전용, 엣지 전용, 클라우드 전용 기법들을 모두 능가하는 최저의 총 비용을 기록했다.
• 표준 랜덤 초기화를 사용한 모델에 비해 메타학습 모델이 훨씬 더 신속하게 수렴하였으며, 20회 미만의 훈련 스텝 내에 안정된 성능을 달성했다.
• 동적인 환경에서 메타초기화를 적용한 DMRO 모델은 단지 40~80회의 훈련 스텝 만으로도 저비용 솔루션에 도달하여 뛰어난 적응 능력을 보였다.
• 시간이 지남에 따라 메타초기화 모델과 랜덤초기화 모델 간의 성능 격차가 점점 커지며, 메타러닝이 신속한 적응에 유리함을 확인했다.
• 에너지 소비 비중이 증가할수록 로컬 실행 비용이 급격히 상승함을 확인하여, 모델의 에너지 효율성에 대한 민감도를 입증했다.
• 프레임워크는 뛰어난 이식성과 함께, 전체 재학습 없이도 새로운 또는 변화하는 MEC 환경에 신속하게 배포 가능함을 보였다.