[論文レビュー] Learning Based Task Offloading in Digital Twin Empowered Internet of Vehicles

Jinkai Zheng, Tom H. Luan+3 more|arXiv (Cornell University)|Dec 28, 2021

Privacy-Preserving Technologies in Data被引用数 14

ひとこと要約

本稿では、デジタルツイン（DT）を活用した強化学習フレームワークを提唱し、インテリジェントなタスクオフロードを実現する。IoVにおける未来のタスク到着と無線チャネル状態をDTによって予測することで、オフロードをマルコフ決定過程（MDP）としてモデル化し、深層強化学習（DRL）を用いることで、遅延、エネルギー、クラウドレンタルコストのバランスを取った長期的コストを最小化する。従来手法に比べて高速な収束と優れた性能を達成する。

ABSTRACT

Mobile edge computing has become an effective and fundamental paradigm for futuristic autonomous vehicles to offload computing tasks. However, due to the high mobility of vehicles, the dynamics of the wireless conditions, and the uncertainty of the arrival computing tasks, it is difficult for a single vehicle to determine the optimal offloading strategy. In this paper, we propose a Digital Twin (DT) empowered task offloading framework for Internet of Vehicles. As a software agent residing in the cloud, a DT can obtain both global network information by using communications among DTs, and historical information of a vehicle by using the communications within the twin. The global network information and historical vehicular information can significantly facilitate the offloading. In specific, to preserve the precious computing resource at different levels for most appropriate computing tasks, we integrate a learning scheme based on the prediction of futuristic computing tasks in DT. Accordingly, we model the offloading scheduling process as a Markov Decision Process (MDP) to minimize the long-term cost in terms of a trade off between task latency, energy consumption, and renting cost of clouds. Simulation results demonstrate that our algorithm can effectively find the optimal offloading strategy, as well as achieve the fast convergence speed and high performance, compared with other existing approaches.

研究の動機と目的

• 高移動性のIoV環境において、車両がグローバルなネットワーク可視性を持たない動的タスクオフロードの課題に対処する。
• 移動性、変動するMECリソース、チャネルダイナミクスの影響により、高次元かつ時間変動する状態空間における従来の最適化手法の限界を克服する。
• デジタルツイン技術を用いて、将来のタスク到着とチャネル状態を予測することで、プロアクティブなリソース予約を可能にする。
• タスク遅延、エネルギー消費、クラウドレンタルコストのトレードオフを通じて、長期的システムコストを最小化する。
• デジタルツインからのグローバルかつ歴史的データを用いてトレーニングされた深層強化学習を活用し、スケーラブルで適応性のあるオフロード戦略を開発する。

提案手法

• 各車両にデジタルツイン（DT）を導入し、リアルタイムのIoTセンサデータを介して同期された仮想レプリカを維持する。
• 相互のDT間通信を可能にし、道路状況、MECサーバ負荷、チャネル状態などのグローバルネットワーク情報の交換を実現する。
• 過去5時間スロットのタスクレートを用いて、LSTMベースのタスク予測モジュールを統合し、将来のタスク到着を予測する。
• 別個のRNNベースのスループット予測モジュール（256セル、50スロットの履歴）を実装し、車両からクラウドおよび車両からRSUへのリンクにおける将来のスループットを推定する。
• 現在のシステム状態、予測タスクレート、予測スループットを組み合わせた状態ベクトルを用いて、オフロード意思決定問題をマルコフ決定過程（MDP）として定式化する。
• 合成状態ベクトルを用いて、長期間のコスト最小化を最適化するため、ドンQネットワーク（DQN）または類似のDRLアルゴリズムを適用し、エージェント・クリティックネットワークをトレーニングする。

Figure 1 : Digital Twin empowered IoV framework.

実験結果

リサーチクエスチョン

• RQ1 デジタルツインは、動的かつ変化し続けるIoV環境におけるオフロード意思決定を改善するために、将来のタスク到着とチャネル状態を効果的に予測できるか？
• RQ2 DTを介してグローバルネットワーク情報と歴史的データを統合することで、ローカルのみの意思決定と比較して、タスクオフロードの性能がどの程度向上するか？
• RQ3 DTが予測する状態を用いてトレーニングされたDRLが、異種のIoVオフロード環境において、長期的システムコスト（遅延、エネルギー、クラウドコスト）をどの程度低減できるか？
• RQ4 DTフレームワークが行うタスクおよびスループット予測の正確性はどの程度で、それがオフロードの安定性とリソース利用効率にどのように影響を与えるか？
• RQ5 現実的なIoVの移動性およびチャネルダイナミクス下で、提案されたDRLベースのオフロード戦略の収束速度とロバスト性はいかがなものか？

主な発見

• 提案されたDTを活用したDRLフレームワークは、従来手法のオフロード戦略と比較して、著しく低い長期的コストを達成し、遅延、エネルギー、クラウドコストのトレードオフにおいて優れた性能を示した。
• RNN（128セル）を用いたタスク予測モジュールは、時間相関のあるタスク到着を効果的にモデル化でき、プロアクティブなリソース割り当てを可能にし、キューのオーバーフローのリスクを低減した。
• スループット予測モジュールは、10時間スロット先の将来のチャネル状態を96.4%の高い正確性で予測し、劣悪な伝送リンクの回避に貢献した。
• トレーニングにおける収束速度が速く、動的かつ変化し続けるIoV環境への強い適応性を示した。
• DT間通信により、車両がグローバルネットワーク状態にアクセス可能となり、ローカルのみのアプローチに比べ、より情報に基づいた効率的なオフロード意思決定が可能になった。
• シミュレーション結果から、デジタルツインによる予測機能統合が、安定した低遅延タスク実行とMECおよびクラウドリソースの効率的利用を実現することが確認された。

Figure 2 : Architecture of DT empowered task offloading for IoV.