[論文レビュー] Machine Learning Empowered Trajectory and Passive Beamforming Design in UAV-RIS Wireless Networks

Xiao Liu, Yuanwei Liu+1 more|arXiv (Cornell University)|Oct 6, 2020

Advanced Wireless Communication Technologies参考文献 42被引用数 10

ひとこと要約

本稿では、減衰する深層Qネットワーク（D-DQN）を用いて、UAVの軌道、RISの位相シフト、電力割り当て、および動的デコード順序を統合最適化することで、UAVのエネルギー消費を最小化する深層強化学習フレームワークを提案する。結果として、RIS-NOMAはRIS-OMAに比べ11.7%のエネルギー削減を達成し、従来のQ学習が失敗する状況でもD-DQNアルゴリズムは正常に収束することが示された。

ABSTRACT

A novel framework is proposed for integrating reconfigurable intelligent surfaces (RIS) in unmanned aerial vehicle (UAV) enabled wireless networks, where an RIS is deployed for enhancing the service quality of the UAV. Non-orthogonal multiple access (NOMA) technique is invoked to further improve the spectrum efficiency of the network, while mobile users (MUs) are considered as roaming continuously. The energy consumption minimizing problem is formulated by jointly designing the movement of the UAV, phase shifts of the RIS, power allocation policy from the UAV to MUs, as well as determining the dynamic decoding order. A decaying deep Q-network (D-DQN) based algorithm is proposed for tackling this pertinent problem. In the proposed D-DQN based algorithm, the central controller is selected as an agent for periodically observing the state of UAV-enabled wireless network and for carrying out actions to adapt to the dynamic environment. In contrast to the conventional DQN algorithm, the decaying learning rate is leveraged in the proposed D-DQN based algorithm for attaining a tradeoff between accelerating training speed and converging to the local optimal. Numerical results demonstrate that: 1) In contrast to the conventional Q-learning algorithm, which cannot converge when being adopted for solving the formulated problem, the proposed D-DQN based algorithm is capable of converging with minor constraints; 2) The energy dissipation of the UAV can be significantly reduced by integrating RISs in UAV-enabled wireless networks; 3) By designing the dynamic decoding order and power allocation policy, the RIS-NOMA case consumes 11.7% less energy than the RIS-OMA case.

研究の動機と目的

• UAVを用いた無線ネットワークにおける高いエネルギー消費と動的環境の課題に対処すること。
• UAVの軌道、RISの位相シフト、電力割り当て、デコード順序を統合最適化してエネルギー最小化を達成すること。
• 移動ユーザーの移動性とチャネル変動に応じた動的でリアルタイムの適応を可能にすること。
• RISとNOMAを活用してスペクトル効率の向上とカバレッジの拡張を実現すること。
• 複雑で高次元の状態空間においても信頼性高く収束する学習ベースのソリューションを開発すること。

提案手法

• UAVの中央コントローラがエージェントとして機能し、ネットワーク状態を観測し、行動を実行する。
• D-DQNは、学習率を段階的に減少させることで、学習速度と局所最適値への収束のバランスを取る。
• 状態空間には、UAVの位置、ユーザーの位置、チャネル状態情報、ユーザーのデータ要求が含まれる。
• 行動には、UAVの移動命令、RISの位相シフト調整、電力割り当てレベル、NOMAにおける動的デコード順序選択が含まれる。
• 報酬関数は、エネルギー消費をペナルティとし、ユーザーのデータレート制約を満たしたデータ送信を報奨するように設計されている。
• 統一された強化学習フレームワークのもとで、軌道、ビームフォーミング、電力割り当て、デコード順序を統合最適化する。

実験結果

リサーチクエスチョン

• RQ1 D-DQNベースのアプローチは、UAV-RISの軌道およびビームフォーミング設計という複雑で高次元の最適化問題において、効果的に収束するか？
• RQ2 RISとNOMAを統合した場合、従来のRIS-OMAや非RISシステムと比較して、UAVのエネルギー消費にどのような影響を与えるか？
• RQ3 動的デコード順序と適応的電力割り当ては、UAV-NOMA-RISネットワークにおけるエネルギー効率にどのような影響を与えるか？
• RQ4 RISの反射素子数とUAVの高度が、エネルギー消費とシステム性能に与える影響は何か？
• RQ5 D-DQNアルゴリズムは、収束性と性能の面で、従来のQ学習に比べてどの程度優れているか？

主な発見

• 提案されたD-DQNアルゴリズムは、従来のQ学習が収束に失敗する同一の問題定式化においても、安定した方策に収束したのに対し、Q学習は収束しなかった。
• UAVネットワークへのRISの統合により、被動的反射によってより信頼性の高いLoSに近いリンクを実現し、UAVのエネルギー消費が顕著に削減された。
• RIS-NOMAは、スペクトル効率の向上とUAV移動の必要性の低減により、RIS-OMAに比べ11.7%のエネルギー消費削減を達成した。
• RISの反射素子数を増やすとUAVのエネルギー消費が減少し、2つのユーザークラスタを対象とする場合に比べ、3つのユーザークラスタを対象とするとエネルギー消費が10.3%増加した。
• 動的デコード順序と適応的電力割り当ては、移動状態でも高いスペクトル効率を維持できるため、固定方策と比較してエネルギー消費を削減した。
• UAVの高度はエネルギー消費に非単調な影響を与える：200mの高度では、LoS確率が高いためにエネルギー消費が増加した。