[논문 리뷰] Lyapunov-guided Deep Reinforcement Learning for Stable Online Computation Offloading in Mobile-Edge Computing Networks

Suzhi Bi, Liang Huang외 2명|arXiv (Cornell University)|2020. 10. 03.

IoT and Edge/Fog Computing참고 문헌 30인용 수 5

한 줄 요약

이 논문은 변동하는 모바일 엣지 컴퓨팅 환경에서 실시간 계산 이송과 자원 할당을 공동 최적화하는 새로운 라플라스안 가이드드 딥 강화학습 프레임워크인 LyDROO를 제안한다. 장기적 제약 조건을 분리하기 위해 라플라스안 최적화를 활용하고 실시간 의사결정을 위해 딥 강화학습을 조합함으로써 LyDROO는 낮은 계산 오버헤드를 유지하면서도 최적의 계산 성능을 달성하며, 데이터 큐와 전력 제약 조건의 안정성을 보장한다. 이는 급격한 fading 환경에 적합하다.

ABSTRACT

Opportunistic computation offloading is an effective method to improve the computation performance of mobile-edge computing (MEC) networks under dynamic edge environment. In this paper, we consider a multi-user MEC network with time-varying wireless channels and stochastic user task data arrivals in sequential time frames. In particular, we aim to design an online computation offloading algorithm to maximize the network data processing capability subject to the long-term data queue stability and average power constraints. The online algorithm is practical in the sense that the decisions for each time frame are made without the assumption of knowing future channel conditions and data arrivals. We formulate the problem as a multi-stage stochastic mixed integer non-linear programming (MINLP) problem that jointly determines the binary offloading (each user computes the task either locally or at the edge server) and system resource allocation decisions in sequential time frames. To address the coupling in the decisions of different time frames, we propose a novel framework, named LyDROO, that combines the advantages of Lyapunov optimization and deep reinforcement learning (DRL). Specifically, LyDROO first applies Lyapunov optimization to decouple the multi-stage stochastic MINLP into deterministic per-frame MINLP subproblems. By doing so, it guarantees to satisfy all the long-term constraints by solving the per-frame subproblems that are much smaller in size. Then, LyDROO integrates model-based optimization and model-free DRL to solve the per-frame MINLP problems with low computational complexity. Simulation results show that under various network setups, the proposed LyDROO achieves optimal computation performance while stabilizing all queues in the system. Besides, it induces very low execution latency that is particularly suitable for real-time implementation in fast fading environments.

연구 동기 및 목표

• 변동하는 채널 조건과 확률적 작업 도착 조건 하에서 다중 사용자 모바일 엣지 컴퓨팅 네트워크에 대한 온라인 계산 이송 알고리즘을 설계하기 위해.
• 장기적인 데이터 큐 안정성과 평균 전력 제약 조건을 보장하면서 네트워크의 데이터 처리 능력을 최대화하기 위해.
• 미래 시스템 상태가 알려지지 않은 급격한 fading 환경에서 실시간 구현을 위한 계산 복잡도를 줄이기 위해.
• 라플라스안 최적화와 딥 강화학습을 통합하여 제약 조건 충족과 성능 최적화 사이의 균형을 이루기 위해.
• 미래의 채널 상태나 작업 도착 정보를 알지 못하더라도 저지연, 확장 가능한 의사결정을 가능하게 하기 위해.

제안 방법

• 이진 이송 및 자원 할당 결정을 포함한 다단계 스토케스틱 혼합정수비선형계획문제(MINLP)로 문제를 수식화한다.
• 라플라스안 최적화를 적용하여 장기적 MINLP 문제를 프레임 단위의 결정적 하位문제로 분리함으로써 가상 큐를 통해 제약 조건 충족을 보장한다.
• 모델 프리 딥 강화학습과 모델 기반 최적화 모듈을 융합한 하이브리드 DRL 아키텍처를 사용하여 보상 값의 정확한 추정을 수행한다.
• 현재 시스템 상태(예: 채널 상태, 큐 블랙업 등)를 기반으로 이진 이송 결정을 예측하기 위해 딥 신경망을 활용한다.
• DNN 출력을 지역 최적화 엔진과 통합하여 각 후보 행동에 대해 최적의 자원 할당(예: 전송 시간, CPU 주파수)을 계산한다.
• 라플라스안 드리프트 플러스 페널티 최소화를 활용하여 성능와 제약 위반 간의 균형을 조절함으로써 안정성 보장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 불확실성 하에서 온라인 계산 이송의 안정성을 확보하기 위해 라플라스안 최적화와 딥 강화학습을 효과적으로 융합할 수 있는가?
• RQ2 대규모 스토케스틱 MINLP 문제를 해결하는 데 소요되는 계산 복잡도를 어떻게 줄여야 실시간으로 동적 MEC 네트워크에 구현할 수 있는가?
• RQ3 제안된 LyDROO 프레임워크는 계산 성능을 최대화하면서도 데이터 큐 안정성과 전력 제약 조건 충족을 어느 정도 유지하는가?
• RQ4 모델 기반 최적화를 모델 프리 DRL과 융합함으로써 순수 DRL 기반 접근법에 비해 학습 수렴 속도와 의사결정 정확도는 어떻게 향상되는가?
• RQ5 시간에 따라 변하는 네트워크 조건 하에서 온라인 이송 알고리즘의 성능 최적화와 계산 지연 사이의 상호 교환 관계는 어떠한가?

주요 결과

• LyDROO는 모든 데이터 큐를 안정화시키고 평균 전력 제약 조건을 확률 1로 충족하면서 최적의 계산 성능을 달성한다.
• 프레임 당 계산 시간이 매우 짧아 급격한 fading 무선 환경에서 실시간 구현에 적합하다.
• 시뮬레이션 결과는 LyDROO가 데이터 큐와 가상 큐의 강력한 안정성을 유지하며, 큐 블랙업이 시간이 지남에 따라 선형 이하로 증가함을 보여준다.
• 가상 큐의 속도 안정성을 확보함으로써 장기적으로 평균 전력 제약 조건이 거의 확실히 충족됨을 의미한다.
• 동적 시스템 조건 하에서 기존 최적화 및 순수 DRL 기반 기준보다 수렴 속도와 강인성 면에서 뛰어난 성능을 보인다.
• 이론적 분석을 통해 LyDROO는 최적 해로부터 최대 $\hat{B}+C - V R^{\text{opt}}$의 성능 갭을 가지며, $V$는 성능와 제약 위반 간의 트레이드오프를 조절한다.