[論文レビュー] Echo State Learning for Wireless Virtual Reality Resource Allocation in UAV-enabled LTE-U Networks

Mingzhe Chen, Walid Saad+1 more|arXiv (Cornell University)|Aug 2, 2017

UAV Applications and Optimization参考文献 6被引用数 4

ひとこと要約

本稿では、無人航空機（UAV）を活用したLTE-UネットワークにおけるワイヤessVR向けに、漏れ型インテグレータニューロンを備えたエコー状態ネットワーク（ESN）ベースの学習アルゴリズムを提案する。この手法により、ライセンス付き／非ライセンス付きスケジューリング、画像品質、フォーマットの共同最適化が可能となり、UAVは連続するユーザー動態に動的に適応する。結果として、LTEネットワークにおけるQ学習と比較して、最大27.1%高い総合VR品質体験（QoE）が達成される。

ABSTRACT

In this paper, the problem of resource management is studied for a network of wireless virtual reality (VR) users communicating using an unmanned aerial vehicle (UAV)-enabled LTE-U network. In the studied model, the UAVs act as VR control centers that collect tracking information from the VR users over the wireless uplink and, then, send the constructed VR images to the VR users over an LTE-U downlink. Therefore, resource allocation in such a UAV-enabled LTE-U network must jointly consider the uplink and downlink links over both licensed and unlicensed bands. In such a VR setting, the UAVs can dynamically adjust the image quality and format of each VR image to change the data size of each VR image, then meet the delay requirement. Therefore, resource allocation must also take into account the image quality and format. This VR-centric resource allocation problem is formulated as a noncooperative game that enables a joint allocation of licensed and unlicensed spectrum bands, as well as a dynamic adaptation of VR image quality and format. To solve this game, a learning algorithm based on the machine learning tools of echo state networks (ESNs) with leaky integrator neurons is proposed. Unlike conventional ESN based learning algorithms that are suitable for discrete-time systems, the proposed algorithm can dynamically adjust the update speed of the ESN's state and, hence, it can enable the UAVs to learn the continuous dynamics of their associated VR users. Simulation results show that the proposed algorithm achieves up to 14% and 27.1% gains in terms of total VR QoE for all users compared to Q-learning using LTE-U and Q-learning using LTE.

研究の動機と目的

• 動的なユーザー移動性と高いデータ要求を伴うUAVを活用したLTE-UネットワークにおけるワイヤessVRの厳格な遅延要件を満たす課題に対処する。
• VRアプリケーションにおける上行リンクおよび下行リンクの両方で、ライセンス付き帯域と非ライセンス帯域のリソース割り当てを共同最適化する。
• データサイズの削減と遅延制約の満たしを目的として、VR画像品質およびフォーマットの動的適応を組み込む。
• エンド・ツー・エンドの遅延準拠を確保しながら、すべてのVRユーザーの総合品質体験（QoE）を最大化する。
• UAVがVRユーザー行動の継続的変化および環境変化に適応できる学習ベースのソリューションを開発する。

提案手法

• UAVをプレイヤーとする非協力的ゲームとしてリソース割り当て問題を定式化し、各UAVが自ユーザーのQoEを最大化することを目的とする。
• VRユーザー行動の連続的ダイナミクスをモデル化・学習するため、漏れ型インテグレータニューロンを用いた新規ESNベースの学習アルゴリズムを提案する。
• 変化するユーザー状態に応じて、ESNの状態更新速度を動的に調整し、学習効率および収束性を向上させる。
• 履歴データに基づき将来の利得値を推定することで、予測的リソース割り当て意思決定を可能にする。
• スケジューリング割り当てをライセンス付き帯域と非ライセンス帯域の両方で、画像品質およびフォーマットの適応と統合し、共同制御変数として扱う。
• 提案されたESN学習メカニズムを用いてゲームにおけるナッシュ均衡を解き、安定的かつ最適なリソース割り当てを保証する。

実験結果

リサーチクエスチョン

• RQ1 LTE-UネットワークにおけるUAVは、VRアプリケーションの厳しい遅延要件を満たすために、ライセンス付き帯域と非ライセンス帯域をどのように共同で割り当てることができるか？
• RQ2 VR画像品質およびフォーマットの動的適応は、高移動性VR環境において、どれほどデータサイズを削減し、QoEを向上させることができるか？
• RQ3 漏れ型インテグレータニューロンを備えたESNベースの学習アルゴリズムは、VRユーザー行動の連続的ダイナミクスを効果的にモデル化・適応できるか？
• RQ4 従来のQ学習および従来のESNと比較して、提案されたESNベースの手法は収束速度およびQoEパフォーマンスでどのように差をつけるか？
• RQ5 UAV密度の変化が、遅延要件を満たすユーザーの割合および全体のQoEに与える影響は何か？

主な発見

• 提案されたESNベースのアルゴリズムは、LTE-UネットワークにおけるQ学習と比較して、最大14%高い総合VR QoEを達成する。
• 提案されたアルゴリズムは、従来のLTEネットワークにおけるQ学習と比較して、最大27.1%高い総合VR QoEを達成する。
• 提案されたアルゴリズムは、従来のESNアルゴリズムと比較して11.3%速く収束し、Q学習と比較して17.4%速い収束速度（反復回数基準）を示す。
• UAV密度が上昇するに従い、遅延要件を満たすユーザーの割合も増加し、提案されたアルゴリズムはベースライン手法と比較して最大40.1%の向上を達成する。
• 漏れ型インテグレータニューロンの使用により、動的学習速度の調整が可能となり、リアルタイム環境における利得変化の追跡・予測能力が顕著に向上する。
• 遅延要件が満たされた後、提案されたアルゴリズムはQoEをさらに低下させることなく安定化させることから、リソース利用の効率性が示される。