[論文レビュー] Echo State Transfer Learning for Data Correlation Aware Resource Allocation in Wireless Virtual Reality

Mingzhe Chen, Walid Saad+2 more|arXiv (Cornell University)|Nov 25, 2017

Neural Networks and Reservoir Computing参考文献 7被引用数 3

ひとこと要約

本稿では、無線バーチャルリアリティ（VR）ネットワークにおけるデータ相関を考慮したリソース割り当てのためのエコー状態ネットワーク（ESN）ベースの転移学習アルゴリズムを提案する。動的環境における学習済みの利得転送を活用することで、Q学習ベースラインと比較して収束を最大18.2%高速化し、遅延を低減する。非協力的ゲームフレームワークにおいて、スケジューリングと計算リソースを同時に最適化する。

ABSTRACT

In this paper, the problem of data correlation-aware resource management is studied for a network of wireless virtual reality (VR) users communicating over cloud-based small cell networks (SCNs). In the studied model, small base stations (SBSs) with limited computational resources act as VR control centers that collect the tracking information from VR users over the cellular uplink and send them to the VR users over the downlink. In such a setting, VR users may send or request correlated or similar data (panoramic images and tracking data). This potential spatial data correlation can be factored into the resource allocation problem to reduce the traffic load in both uplink and downlink. This VR resource allocation problem is formulated as a noncooperative game that allows jointly optimizing the computational and spectrum resources, while being cognizant of the data correlation. To solve this game, a transfer learning algorithm based on the machine learning framework of echo state networks (ESNs) is proposed. Unlike conventional reinforcement learning algorithms that must be executed each time the environment changes, the proposed algorithm can intelligently transfer information on the learned utility, across time, to rapidly adapt to environmental dynamics due to factors such as changes in the users' content or data correlation. Simulation results show that the proposed algorithm achieves up to 16.7% and 18.2% gains in terms of delay compared to the Q-learning with data correlation and Q-learning without data correlation. The results also show that the proposed algorithm has a faster convergence time than Q-learning and can guarantee low delays.

研究の動機と目的

• 上行リンク、下行リンク、および計算プレーンにおけるリソース割り当ての最適化が不十分なことによる高遅延の問題に対処する。
• VRユーザー間の空間的データ相関（例：相関するパノラマ画像やトラッキングデータ）を考慮した、小セル基地局（SBS）間での共同リソース割り当て問題を定式化する。
• SBSがプレイヤーとして自己の利得関数を最適化することでVR遅延を最小化する非協力的ゲーム理論的フレームワークを構築する。
• エコー状態ネットワーク（ESNs）に基づく転移学習アルゴリズムを設計し、ユーザーのデータ相関の変化やコンテンツのダイナミクスといった環境変化に迅速に適応可能にする。
• 動的VRネットワーク環境下で、従来のQ学習手法と比較して収束が速く、エンドツーエンドの遅延が低いことを実現する。

提案手法

• VRシステムを、U人のVRユーザーとB個のSBSを備えたクラウドベースの小セルネットワーク（SCN）としてモデル化する。SBSは上行リンクのトラッキングデータ収集と下行リンクのVR画像配信を管理する。
• 各SBSがリソースブロックおよび計算リソースの割り当てに関する混合戦略を最適化することで、エンドツーエンド遅延を捉える利得関数を最小化する非協力的ゲームとしてリソース割り当て問題を定式化する。
• 動的リザボア状態を維持し、時間ステップごとの利得差を推定する出力重みを学習するエコー状態ネットワーク（ESN）ベースの転移学習アルゴリズムを提案する。
• ユーザーのデータ相関や状態情報が変化した際に、事前に学習した利得値を再利用することで知識転送を実現し、完全な再トレーニングの必要性を低減する。
• 学習中の探索と活用のバランスを取るために、ESNアルゴリズムにε-greedy探索戦略を実装し、SBS間で混合戦略をブロードキャストする。
• 観測された行動の結果と状態遷移に基づき、出力重み行列を再帰的最小二乗法（RLS）を用いて適応的に更新することで、利得推定値を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 VRユーザー間のデータ相関をどのように活用すれば、無線小セルネットワークにおける上行リンクおよび下行リンクのトラフィック負荷を低減できるか？
• RQ2 動的ネットワーク環境下で、スケジューリングと計算リソースの共同割り当てがエンドツーエンドVR遅延に与える影響は何か？
• RQ3 エコー状態ネットワーク（ESNs）を用いた転移学習は、従来のQ学習と比較して、VRリソース割り当てにおいて収束速度と遅延性能を顕著に改善できるか？
• RQ4 本手法は、ユーザーのデータ相関やコンテンツダイナミクスの変化に伴って、再学習から完全に再始動することなく適応できるか？
• RQ5 データ相関と転移学習をVRリソース割り当てに組み込むことで、遅延と収束速度にどの程度の性能向上が得られるか？

主な発見

• 6個のSBSを用いた場合、Q学習（データ相関あり／なし）と比較して、提案手法の平均遅延低減率はそれぞれ最大16.7%および18.2%に達する。
• 収束時間の比較において、ESNベースラインと比較して22.5%、Q学習（データ相関あり）と比較して36%の高速収束を達成した。
• ユーザーのデータ相関が高い状況では遅延の改善が顕著であり、学習済み利得の転送を効果的に活用することで再学習のオーバーヘッドを低減している。
• SBS数が最適点を超えて増加すると、干渉が増加し遅延が上昇する傾向を示しており、カバレッジ密度と干渉のトレードオフが存在することを示している。本手法はこのトレードオフを緩和する。
• SBS数が増加するにつれて、Q学習の変種間の乖離が小さくなり、SBSあたりのユーザー分布が疎になることでユーザーのデータ相関が弱まるためである。
• ユーザー状態やコンテンツの変化が生じても、本手法は低遅延を維持し、迅速な適応を示しており、動的VR環境における頑健性を示している。