[論文レビュー] AI-based Radio Resource Management and Trajectory Design for PD-NOMA Communication in IRS-UAV Assisted Networks

Hussein M. Hariz, Saeed Sheikhzadeh+4 more|arXiv (Cornell University)|Nov 6, 2021

Age of Information Optimization被引用数 10

ひとこと要約

本稿では、IoTシステムにおける情報の新鮮さ要件を満たすために、UAV-IRS支援型PD-NOMAネットワークにおけるAI駆動型無線資源管理および軌道最適化フレームワークを提案する。DDQN（二重ディープQネットワーク）とPPO（プロキシマルポリシー最適化）を組み合わせることで、送信電力、サブキャリア、軌道、位相シフトを統合最適化し、それぞれマッチング法およびランダム軌道ベースラインと比較してAAoI性能を10%および15%改善する。

ABSTRACT

In this paper, we consider that the unmanned aerial vehicles (UAVs) with attached intelligent reflecting surfaces (IRSs) play the role of flying reflectors that reflect the signal of users to the destination, and utilize the power-domain non-orthogonal multiple access (PD-NOMA) scheme in the uplink. We investigate the benefits of the UAV-IRS on the internet of things (IoT) networks that improve the freshness of collected data of the IoT devices via optimizing power, sub-carrier, and trajectory variables, as well as, the phase shift matrix elements. We consider minimizing the average age-of-information (AAoI) of users subject to the maximum transmit power limitations, PD-NOMA-related restriction, and the constraints related to UAV's movement. The optimization problem consists of discrete and continuous variables. Hence, we divide the resource allocation problem into two sub-problems and use two different reinforcement learning (RL) based algorithms to solve them, namely the double deep Qnetwork (DDQN) and a proximal policy optimization (PPO). Our numerical results illustrate the performance gains that can be achieved for IRS enabled UAV communication systems. Moreover, we compare our deep RL (DRL) based algorithm with matching algorithm and random trajectory, showing the combination of DDQN and PPO algorithm proposed in this paper performs 10% and 15% better than matching algorithm and random-trajectory algorithm, respectively.

研究の動機と目的

• 高データ新鮮度要件を満たすIoTネットワークにおけるタイムリーなステータスアップデート配信の課題に対処すること。
• 実用的制約下でのUAV-IRS支援型PD-NOMA上行通信における平均情報の新鮮さ（AAoI）を最小化すること。
• 送信電力割り当て、サブキャリア割り当て、UAV軌道、インテリジェントリフレクティングサーフェス（IRS）位相シフトを同時に最適化すること。
• 動的無線環境における混合整数非凸最適化の複雑性を、深層強化学習を用いて克服すること。
• 従来のベースライン（例：マッチング法およびランダム軌道アルゴリズム）と比較して、提案されたDRLベースのフレームワークの性能向上を示すこと。

提案手法

• 送信電力、PD-NOMA、UAV移動性制約下でAAoIを最小化するための混合整数非凸最適化問題を定式化する。
• 問題を2つの部分問題に分解する：サブキャリアおよび送信電力割り当て（DDQNで解く）、UAV軌道設計（PPOで解く）。
• 状態依存報酬（AAoIを反映）に基づいて、最適な送信電力およびサブキャリア割り当てを学習する二重ディープQネットワーク（DDQN）エージェントを用いる。
• 連続的アクション空間制御を通じてAAoIを低減する最適なUAV軌道を学習するプロキシマルポリシー最適化（PPO）エージェントを採用する。
• IRSの位相シフトを動的ビームフォーミングコンponentとして統合し、遠距離ユーザーの信号強度および信頼性を向上させる。
• ユーザー位置、チャネル状態、AAoI履歴を含む状態表現を用いて、シミュレーション環境で両エージェントをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 UAV-IRS支援型PD-NOMAシステムは、どのように最適化することでIoTネットワークにおける平均情報の新鮮さ（AAoI）を最小化できるか？
• RQ2 UAVと統合されたインテリジェントリフレクティングサーフェス（IRS）は、単独のUAVシステムと比較して、AAoI性能をどの程度向上させるか？
• RQ3 DDQNとPPOの組み合わせは、AAoI最小化のための送信電力、サブキャリア、軌道、位相シフトを統合最適化するためにどの程度有効か？
• RQ4 マッチング法およびランダム軌道などのベースライン手法と比較して、提案されたDRLベースのフレームワークはどの程度の性能向上を達成できるか？
• RQ5 送信電力制限がAAoI低減に与える影響は何か？また、IRS導入が最も効果を発揮する状況はどのようなものか？

主な発見

• 提案されたDDQN-PPOフレームワークは、マッチング法ベースラインと比較してAAoI性能を10%向上させる。
• ランダム軌道ベースラインと比較して、フレームワークはAAoIを15%低減し、知的な軌道設計の有効性を示している。
• DRLエージェントの収束は4,000エピソード以内に達成され、安定した学習行動と改善が見られる負の報酬トレンドを示している。
• PPOが学習したUAV軌道は、AAoIが高く、チャネル状態が弱いユーザーに向かって自発的に移動し、データレートを向上させつつAAoIを低減する。
• 低送信電力制約下でも、IRSの導入はシステム性能を顕著に向上させ、電力制限のあるIoTアプリケーションにとって重要な促進要因となる。
• ユーザー数の増加に伴い、スペクトルおよび時間リソースが限られるためAAoIは上昇するが、提案手法はすべてのユーザー数においてベースラインと比較して低いAAoIを維持する。