[論文レビュー] Learning-Based Computation Offloading for IoT Devices with Energy Harvesting

Minghui Min, Dongjin Xu+3 more|arXiv (Cornell University)|Dec 23, 2017

Energy Harvesting in Wireless Networks参考文献 10被引用数 26

ひとこと要約

本稿は、動的で複数のMECデバイスを有する環境におけるエネルギー回収型IoTデバイス向けに、強化学習に基づく計算オフロードフレームワークを提案する。ホットブートQラーニングと高速DQN（Deep Q-Network）技術を用いて、バッテリー残量、予測エネルギー、および過去のチャネル状態に基づき、システムは最適なMECデバイスとオフロードレートを自律的に選択する。標準Qラーニングと比較して、最大2倍の高い利得と53%低いタスク破棄率を達成し、収束速度も速い。

ABSTRACT

Internet of Things (IoT) devices can apply mobile-edge computing (MEC) and energy harvesting (EH) to provide the satisfactory quality of experiences for computation intensive applications and prolong the battery lifetime. In this article, we investigate the computation offloading for IoT devices with energy harvesting in wireless networks with multiple MEC devices such as base stations and access points, each with different computation resource and radio communication capability. We propose a reinforcement learning based computation offloading framework for an IoT device to choose the MEC device and determine the offloading rate according to the current battery level, the previous radio bandwidth to each MEC device and the predicted amount of the harvested energy. A "hotbooting" Q-learning based computation offloading scheme is proposed for an IoT device to achieve the optimal offloading performance without being aware of the MEC model, the energy consumption and computation latency model. We also propose a fast deep Q-network (DQN) based offloading scheme, which combines the deep learning and hotbooting techniques to accelerate the learning speed of Q-learning. We show that the proposed schemes can achieve the optimal offloading policy after sufficiently long learning time and provide their performance bounds under two typical MEC scenarios. Simulations are performed for IoT devices that use wireless power transfer to capture the ambient radio-frequency signals to charge the IoT batteries. Simulation results show that the fast DQN-based offloading scheme reduces the energy consumption, decreases the computation delay and the task drop ratio, and increases the utility of the IoT device in dynamic MEC, compared with the benchmark Q-learning based offloading.

研究の動機と目的

• 複数のMECデバイスと時間変動するエネルギー供給を有するIoTネットワークにおける動的計算オフロードの課題に対処すること。
• MECモデル、エネルギー消費、遅延特性の事前知識が欠如している状況下でも、IoTデバイスがオフロード意思決定を最適化できること。
• エネルギー回収型IoTシステムにおけるエネルギー消費、計算遅延、タスク破棄率の低減。
• トランスファーラーニングとディープニューラルネットワークを用いて、オフロード方策選択の学習収束を加速すること。
• 理論的性能限界を確立し、RFベースの無線電力伝送を用いたシミュレーションによりフレームワークを検証すること。

提案手法

• 状態に現在のバッテリー残量、過去の無線帯域幅、予測された収集エネルギーを含む、マルコフ意思決定過程（MDP）としてオフロード意思決定を定式化する。
• 事前知識または事前トレーニング済み方策からQ値を初期化することで収束を加速する、トランスファーラーニングを活用したホットブートQラーニング方式を提案する。
• 状態空間の圧縮と学習速度の向上を目的に、畳み込みニューラルネットワーク（CNN）を用いた高速DQNベースのオフロード方式を導入する。
• 政策最適化をガイドするため、計算遅延、エネルギー消費、タスク成功率を統合した利得指標として報酬関数を定義する。
• IoTデバイスが時間経過とともにMECネットワークと相互作用することで、最適な状態-行動マッピングを学習する繰り返しゲームフレームワークを採用する。
• 送信電力を主要なシステムパラメータとするRF信号による無線電力伝送（WPT）を用いてエネルギー回収をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 エネルギー回収型IoTデバイスは、複数のMECデバイスと時間変動する環境下で、どのように最適なMECデバイスとオフロードレートを動的に選択できるか？
• RQ2 MECシステムモデルの知識が欠如している状況下で、学習速度とモデルの複雑さがオフロード性能に与える影響は何か？
• RQ3 ホットブートQラーニングと高速DQNという異なる強化学習技術は、収束速度、エネルギー効率、タスク信頼性の観点でどのように比較できるか？
• RQ4 完全オフロードおよびローカル処理条件下で、提案されたRLベースのオフロード方式の理論的性能限界は何か？
• RQ5 タスクサイズやRF送信電力といったシステムパラメータが、エネルギー消費、遅延、タスク破棄率に与える影響は何か？

主な発見

• 高速DQNベースのオフロード方式は、約1,000時間スロット以内に収束する。これはホットブートQラーニングおよび標準Qラーニングと比較して顕著に速い。
• 時間スロット1,000時点で、高速DQNベース方式はホットブートQラーニング方式と比較して2倍の高い利得を達成する。
• 120ビットのタスクにおいて、高速DQNベース方式はエネルギー消費を23%、計算遅延を4%、ホットブートQラーニング方式と比較して低減する。
• 動的条件下で、高速DQNベース方式のタスク破棄率はホットブートQラーニング方式と比較して53%低く、標準Qラーニングと比較して68%低い。
• RF送信電力を6 Wから10 Wに増加させると、ホットブートQラーニング方式のタスク破棄率は82%低減する。
• 計算タスクサイズを100ビットから140ビットに増加させた場合、高速DQNベース方式ではエネルギー消費、遅延、タスク破棄率がそれぞれ40%、46%、400%増加する。