[論文レビュー] Meta-Reinforcement Learning for Reliable Communication in THz/VLC Wireless VR Networks

Yining Wang, Mingzhe Chen+5 more|arXiv (Cornell University)|Jan 29, 2021

Optical Wireless Communication Technologies被引用数 6

ひとこと要約

本稿では、メタ強化学習フレームワークを用いて、THz/VLC対応の屋内VRネットワークにおけるVAP選択およびユーザー接続を最適化するメタ方策勾配（MPG）および二重ベースMPG（D-MPG）アルゴリズムを提案する。TRPOと比較して、最大26.8%高い成功ユーザースループットと87.5%速い収束を達成し、動的なユーザー移動性およびリンク遮断に対しても迅速に適応する。

ABSTRACT

In this paper, the problem of enhancing the quality of virtual reality (VR) services is studied for an indoor terahertz (THz)/visible light communication (VLC) wireless network. In the studied model, small base stations (SBSs) transmit high-quality VR images to VR users over THz bands and light-emitting diodes (LEDs) provide accurate indoor positioning services for them using VLC. Here, VR users move in real time and their movement patterns change over time according to their applications, where both THz and VLC links can be blocked by the bodies of VR users. To control the energy consumption of the studied THz/VLC wireless VR network, VLC access points (VAPs) must be selectively turned on so as to ensure accurate and extensive positioning for VR users. Based on the user positions, each SBS must generate corresponding VR images and establish THz links without body blockage to transmit the VR content. The problem is formulated as an optimization problem whose goal is to maximize the reliability of the VR network by selecting the appropriate VAPs to be turned on and controlling the user association with SBSs. To solve this problem, a policy gradient-based reinforcement learning (RL) algorithm that adopts a meta-learning approach is proposed. The proposed meta policy gradient (MPG) algorithm enables the trained policy to quickly adapt to new user movement patterns. In order to solve the problem of maximizing the average number of successfully served users for VR scenarios with a large number of users, a dual method based MPG algorithm (D-MPG) with a low complexity is proposed. Simulation results demonstrate that, compared to the trust region policy optimization algorithm (TRPO), the proposed MPG and D-MPG algorithms yield up to 26.8% and 21.9% improvement in the reliability as well as 81.2% and 87.5% gains in the convergence speed, respectively.

研究の動機と目的

• 動的なユーザー移動性と頻繁なリンク遮断を伴う屋内THz/VLC無線VRネットワークにおいて、高い信頼性を維持する課題に対処する。
• テラヘルツ（THz）小規模基 station（SBS）へのユーザー接続と可視光通信（VLC）アクセスポイント（VAP）の選択を最適化し、成功裏にサービスを受けたVRユーザー数を最大化する。
• 再訓練を完全に再開することなく、新しいユーザー移動パターンへの制御方策の迅速な適応を可能にする。
• 多数のユーザーを含む大規模VRシナリオにおいて、計算複雑性を低減しつつ高い信頼性を維持する。
• D-MPGアルゴリズムにおける二重法に基づく最適化により、性能向上と処理時間のトレードオフを調整する。

提案手法

• 成功裏にサービスを受けたユーザーの平均数を最大化するため、VAP選択とユーザー接続の連合問題をマルコフ決定過程（MDP）として定式化する。
• 複数のユーザー移動タスクにわたって共有される方策初期化を学習するメタ方策勾配（MPG）アルゴリズムを設計し、新しいパターンへの迅速な適応を可能にする。
• メタラーニングと方策勾配強化学習を統合し、多様なユーザー移動ダイナミクスにわたる一般化を可能にする。
• ユーザー接続の双対問題を解くためにハンガリアン法を用いる二重法ベースのMPG（D-MPG）アルゴリズムを提案し、計算複雑性を低減する。
• 比較のためのベースラインとして信頼領域方策最適化（TRPO）を用い、MPGおよびD-MPG方策を多様なユーザー移動タスクで訓練することで一般化性能を向上させる。
• タスクサンプリングとメタ最適化の組み合わせを用いて方策を訓練し、複数のシミュレートされたユーザー移動シナリオにおけるパフォーマンスに基づいて方策を更新する。

実験結果

リサーチクエスチョン

• RQ1 メタ強化学習は、最小限の再トレーニングで、動的なTHz/VLC VRネットワークにおける新しいユーザー移動パターンに効果的に適応できるか？
• RQ2 提案されたMPGアルゴリズムは、従来のTRPOと比較して、動的VR環境における収束速度と信頼性をどのように向上させるか？
• RQ3 D-MPGアルゴリズムは、多数のユーザーを含む大規模VRネットワークにおいて、高いパフォーマンスを維持しつつ計算複雑性をどの程度低減できるか？
• RQ4 VAP選択とユーザー接続の共同最適化は、THz/VLCベースのVRサービスの信頼性とスループットにどのような影響を与えるか？
• RQ5 高密度VRシナリオにおいてD-MPGアルゴリズムを用いる際、処理時間と信頼性の向上のトレードオフはどのようなものか？

主な発見

• 提案されたMPGアルゴリズムは、TRPOベースラインと比較して、最大26.8%高い平均成功VRユーザー数を達成した。
• D-MPGアルゴリズムは、TRPOと比較して平均成功VRユーザー数で21.9%の向上を達成した。
• MPGアルゴリズムは、TRPOと比較して収束時間を81.2%短縮し、新しいタスクに収束するのにたった30イテレーションで完了した。
• D-MPGアルゴリズムは、TRPOと比較して収束時間を87.5%短縮し、新しいタスクに収束するのにたった20イテレーションで完了した。
• MPGおよびD-MPGアルゴリズムは、それぞれ13.2%および10.3%の信頼性向上を達成した。これは、メタ学習により得られた広く適用可能な方策パrameterのおかげである。
• 可視化結果から、提案されたアルゴリズムがユーザー移動性および遮断に対しても、効果的にVAPを選択し、SBSにユーザーを接続していることが確認された。