[논문 리뷰] Cost-Effective Task Offloading Scheduling for Hybrid Mobile Edge-Quantum Computing

Ziqiang Ye, Yulan Gao외 4명|arXiv (Cornell University)|2023. 06. 26.

IoT and Edge/Fog Computing인용 수 4

한 줄 요약

이 논문은 하이브리드 모바일 에지-양자 계산(MEQC) 시스템에서 비용 효율적인 작업 오프로딩을 위한 딥 강화학습(DRL) 기반 라플라스 최적화 프레임워크를 제안한다. 시간에 따라 연결된 제약 조건을 벌점 기반 목적함수로 재구성하고, 모드 선택에 DQN을, 부분 작업 오프로딩에 DDPG를 적용함으로써, 기준 대비 낮은 시간 평균 비용과 향상된 지속 가능성 성능을 달성하였으며, Δ=0.7에서 최적 성능을 보였다.

ABSTRACT

In this paper, we aim to address the challenge of hybrid mobile edge-quantum computing (MEQC) for sustainable task offloading scheduling in mobile networks. We develop cost-effective designs for both task offloading mode selection and resource allocation, subject to the individual link latency constraint guarantees for mobile devices, while satisfying the required success ratio for their computation tasks. Specifically, this is a time-coupled offloading scheduling optimization problem in need of a computationally affordable and effective solution. To this end, we propose a deep reinforcement learning (DRL)-based Lyapunov approach. More precisely, we reformulate the original time-coupled challenge into a mixed-integer optimization problem by introducing a penalty part in terms of virtual queues constructed by time-coupled constraints to the objective function. Subsequently, a Deep Q-Network (DQN) is adopted for task offloading mode selection. In addition, we design the Deep Deterministic Policy Gradient (DDPG)-based algorithm for partial-task offloading decision-making. Finally, tested in a realistic network setting, extensive experiment results demonstrate that our proposed approach is significantly more cost-effective and sustainable compared to existing methods.

연구 동기 및 목표

• 하이브리드 모바일 에지-양자 계산(MEQC) 시스템에서 지속 가능하고 비용 효율적인 작업 오프로딩 스케줄링 문제를 해결하기 위해.
• 개별 링크 대기 지연 및 성공 비율 제약 조건 하에서 작업 오프로딩 모드 선택과 자원 할당을 공동 최적화하기 위해.
• 동적인 MEQC 환경에서 시간에 따라 연결된 오프로딩 스케줄링 문제에 대해 계산 비용이 낮은 해결책을 개발하기 위해.
• 딥 강화학습을 라플라스 최적화와 융합하여 실시간이고 적응 가능한 의사결정을 가능하게 하기 위해.
• 실제 네트워크 환경에서 제안된 방법을 평가하고, 뛰어난 비용 효율성과 지속 가능성 성능을 입증하기 위해.

제안 방법

• 시간에 따라 연결된 제약 조건에서 유도된 가상 큐를 기반으로 벌점 항목을 도입하여 시간에 따라 연결된 오프로딩 문제를 혼합정수최적화 문제로 재구성한다.
• 딥 Q 네트워크(DQN)를 사용하여 작업 오프로딩 모드(예: 로컬, 에지, 양자)의 이산적 결정을 내린다.
• 연속적인 부분 작업 오프로딩 결정을 위해 딥 디터미니스틱 정책 기울기(DDPG) 알고리즘을 활용한다.
• 라플라스 최적화를 통합하여 큐 뒤섞임을 안정화하고 장기적인 제약 조건 이행을 보장한다.
• 에너지, 지연, 자원 사용량을 균형 잡는 시간 평균 비용 목적함수를 구성하며, QoS 보장을 유지한다.
• 동적인 조건 하에서 최적의 스케줄링 정책을 학습할 수 있도록 실제 네트워크 환경에서 DRL 에이전트를 훈련시킨다.

실험 결과

연구 질문

• RQ1 장기적인 비용을 최소화하면서 대기 지연 및 성공 비율 제약 조건을 충족시키기 위해 로컬, 에지, 양자 오프로딩 간 최적의 균형은 무엇인가?
• RQ2 제안된 DRL 기반 라플라스 접근법은 비용 효율성과 지속 가능성 측면에서 기준 방법에 비해 어떻게 비교되는가?
• RQ3 제어 파라미터 Δ가 시간 평균 비용과 시스템 성능에 미치는 영향은 무엇인가?
• RQ4 제안된 방법은 시간에 따라 연결된 오프로딩 시나리오에서 안정적인 큐 뒤섞임과 제약 조건 이행을 달성할 수 있는가?
• RQ5 다양한 작업 도착률, 데이터 크기, 큐비트 수 변화 상황에서 시스템 성능은 어떻게 되는가?

주요 결과

• 제안된 DRL 기반 라플라스 알고리즘이 실제 네트워크 시뮬레이션에서 기준 방법 대비 유의미하게 낮은 시간 평균 비용을 달성하였다.
• Δ=0.7에서 최적의 값으로 시간 평균 비용이 최소화되었으며, 이 값 이하 또는 초과할 경우 성능 저하가 발생하였다.
• 기타 기준 방법의 경우 다양한 Δ 값에서도 시간 평균 비용이 상당히 일정하게 유지되어 파rameter 조정에 대한 민감도가 낮음을 보였다.
• 시스템은 장기간에 걸쳐 안정적인 큐 뒤섞임을 유지하며 모든 대기 지연 및 성공 비율 제약 조건을 이행하였다.
• DQN과 DDPG 구성 요소는 오프로딩 결정의 균형을 효과적으로 학습하여 에너지 및 자원 효율성을 향상시켰다.
• 이론적 분석을 통해 알고리즘이 유계 큐 성장과 제약 위반을 고려한 근접 최적의 비용 성능을 달성함을 확인하였다.