[論文レビュー] Cost-Effective Task Offloading Scheduling for Hybrid Mobile Edge-Quantum Computing

Ziqiang Ye, Yulan Gao+4 more|arXiv (Cornell University)|Jun 26, 2023

IoT and Edge/Fog Computing被引用数 4

ひとこと要約

本稿では、ハイブリッドモバイルエッジ量子コンピューティング（MEQC）システムにおけるコスト効率の良いタスクオフロードを実現するため、深層強化学習（DRL）に基づくラプラス型最適化フレームワークを提案する。時間依存制約をペナルティに基づく目的関数に再定式化し、モード選択にはDQN、部分的タスクオフロードにはDDPGを採用することで、ベースラインと比較して時間平均コストを低減し、持続可能性を向上させた。最適な性能はΔ=0.7で達成された。

ABSTRACT

In this paper, we aim to address the challenge of hybrid mobile edge-quantum computing (MEQC) for sustainable task offloading scheduling in mobile networks. We develop cost-effective designs for both task offloading mode selection and resource allocation, subject to the individual link latency constraint guarantees for mobile devices, while satisfying the required success ratio for their computation tasks. Specifically, this is a time-coupled offloading scheduling optimization problem in need of a computationally affordable and effective solution. To this end, we propose a deep reinforcement learning (DRL)-based Lyapunov approach. More precisely, we reformulate the original time-coupled challenge into a mixed-integer optimization problem by introducing a penalty part in terms of virtual queues constructed by time-coupled constraints to the objective function. Subsequently, a Deep Q-Network (DQN) is adopted for task offloading mode selection. In addition, we design the Deep Deterministic Policy Gradient (DDPG)-based algorithm for partial-task offloading decision-making. Finally, tested in a realistic network setting, extensive experiment results demonstrate that our proposed approach is significantly more cost-effective and sustainable compared to existing methods.

研究の動機と目的

• ハイブリッドモバイルエッジ量子コンピューティング（MEQC）システムにおける持続可能でコスト効率の良いタスクオフロードスケジューリングの課題に対処すること。
• 個々のリンクの遅延および成功確率制約の下で、タスクオフロードモード選択とリソース割り当てを統合最適化すること。
• 動的MEQC環境における時間依存オフロードスケジューリングに対して、計算的に負担の少ない解決策を開発すること。
• 深層強化学習とラプラス最適化を統合し、リアルタイムかつ適応的な意思決定を可能にすること。
• 実際のネットワーク環境で提案手法を評価し、優れたコスト効率と持続可能性を示すこと。

提案手法

• 時間依存制約に基づく仮想キューを構築し、その上にペナルティ項を導入することで、時間依存オフロード問題を混合整数最適化問題に再定式化する。
• タスクオフロードモード（例：ローカル、エッジ、量子）の離散的決定を、ディープ・クオンティティ・ネットワーク（DQN）を用いて行う。
• 部分的タスクオフロードの連続的決定には、ディープ・デターミニスティック・ポリシー・グラデント（DDPG）アルゴリズムを採用する。
• ラプラス最適化を統合し、キューのバックログを安定化させ、長期的な制約満たしを確保する。
• エネルギー、遅延、リソース使用量をバランスさせつつQoS保証を維持する時間平均コストの目的関数を構築する。
• 動的状態下での最適スケジューリング方策を学習できるよう、DRLエージェントを現実的なネットワーク環境で訓練する。

実験結果

リサーチクエスチョン

• RQ1 長期間にわたるコストを最小化しつつ、遅延および成功確率制約を満たすために、ローカル、エッジ、量子オフロードの最適なバランスは何か？
• RQ2 提案手法のDRLベースのラプラス的手法は、ベースライン手法と比較してコスト効率および持続可能性の面でどの程度優れているか？
• RQ3 制御パrameter Δ が時間平均コストおよびシステム性能に与える影響は何か？
• RQ4 提案手法は、時間依存オフロードシナリオにおいて、安定したキューのバックログと制約満たしを達成できるか？
• RQ5 タスク到着レート、データサイズ、キュービット数が変動する条件下で、システムの性能はどのように変化するか？

主な発見

• 提案されたDRLベースのラプラスアルゴリズムは、現実的なネットワークシミュレーションにおいて、ベースライン手法と比較して顕著に低い時間平均コストを達成した。
• Δ=0.7が最適値であり、この点で時間平均コストが最小化された。この値を上回ったり下回ったりすると、性能が劣化した。
• 他のベースライン手法では、Δの値が異なっても時間平均コストに大きな変化がなく、パrameterチューニングに対して感受性が低いことが示された。
• システムは長期間にわたり安定したキューのバックログを維持し、すべての遅延および成功確率制約を満たした。
• DQNおよびDDPGの各コンponentは、オフロード意思決定のバランスを効果的に学習し、エネルギーおよびリソース効率の向上に寄与した。
• 理論的分析により、アルゴリズムが近似的に最適なコスト性能を達成しており、キュー成長および制約違反が有界であることが確認された。