[論文レビュー] Intelligent User Association for Symbiotic Radio Networks using Deep Reinforcement Learning

Qianqian Zhang, Ying‐Chang Liang+1 more|arXiv (Cornell University)|May 10, 2019

Advanced MIMO Systems Optimization参考文献 32被引用数 9

ひとこと要約

本稿では、環境バックスキャター通信（AmBC）を用いた共生無線ネットワーク（SRN）におけるインтелиジェントなユーザ関連のための、集中型および分散型の深層強化学習（DRL）アルゴリズムを提案する。履歴チャネルデータを活用してリアルタイムの状態を推定することで、DRLエージェントは完全なリアルタイムチャネル状態情報（CSI）を必要とせずに、IoTデバイスの和スループットをほぼ最適化する。特に、変動するIoTデバイス数を伴う動的環境では、分散型DRLが優れたスケーラビリティを示す。

ABSTRACT

In this paper, we are interested in symbiotic radio networks, in which an Internet-of-Things (IoT) network parasitizes in a primary network to achieve spectrum-, energy-, and infrastructure-efficient communications. Specifically, the BS serves multiple cellular users using time division multiple access (TDMA) and each IoT device is associated with one cellular user for information transmission. We focus on the user association problem, whose objective is to link each IoT device to an appropriate cellular user by maximizing the sum rate of all IoT devices. However, the difficulty in obtaining the full real-time channel information makes it difficult to design an optimal policy for this problem. To overcome this issue, we propose two deep reinforcement learning (DRL) algorithms, both use the historical information to infer the current information in order to make appropriate decisions. One algorithm, centralized DRL, makes decisions for all IoT devices at one time with global information. The other algorithm, distributed DRL, makes a decision only for one IoT device at one time using local information. Finally, simulation results show that the two DRL algorithms achieve comparable performance as the optimal user association policy which requires perfect real-time information, and the distributed DRL algorithm has the advantage of scalability.

研究の動機と目的

• 主ネットワークの基地局（BS）から放射される信号をIoTデバイスがバックスキャターすることで通信する共生無線ネットワーク（SRN）におけるユーザ関連の課題に対処すること。
• 最適なユーザ関連を実現するための完全なリアルタイムチャネル状態情報（CSI）の取得が現実的でないという課題を克服すること。
• 履歴CSIを用いて現在のチャネル状態を推定する、スケーラブルで効率的なDRLベースのユーザ関連アルゴリズムを設計すること。
• 時間分割多重アクセス（TDMA）および逐次干渉キャンセレーション（SIC）の制約下で、すべてのIoTデバイスの和スループットを最大化すること。
• 準静的および高動的フェージング環境下での提案DRLアルゴリズムの性能とスケーラビリティを評価すること。

提案手法

• すべてのIoTデバイスおよびセルラーユーザーのCSIを含むグローバル状態情報を用いる集中型DRLアルゴリズムを提案。すべてのIoTデバイスの関連を同時に決定する。
• 各IoTデバイスが自身のローカルCSIと履歴データに基づいて関連を独自に決定する分散型DRLアルゴリズムを設計。これによりスケーラビリティが向上する。
• 学習の安定化とポリシー学習の向上を図るため、経験再生とターゲットネットワークを備えた深層Qネットワーク（DQN）を採用。
• 動的環境下での安定的収束を保証するため、過去200フレームの移動平均を用いて性能評価を平滑化。
• チャネルを大規模フェージング（ゆっくり変化）と小規模フェージング（相関ρを有する高速フェージング）の組み合わせとしてモデル化。ρ=0.5とρ=0はそれぞれ中程度の動的変化と高い動的変化を表す。
• DRLフレームワーク内でのポリシー最適化を促進するため、すべてのIoTデバイスの和スループットに基づく報酬関数を実装。

実験結果

リサーチクエスチョン

• RQ1 完全なリアルタイムCSIを必要とせずに、DRLベースのユーザ関連がSRNでほぼ最適な和スループットを達成できるか？
• RQ2 制限されたCSIフィードバックを伴う動的チャネル条件下で、集中型DRLと分散型DRLの性能はどのように比較されるか？
• RQ3 履歴チャネル情報は、リアルタイムCSIの欠如をどの程度補完できるか？
• RQ4 IoTデバイス数が動的に変化する状況において、分散型DRLアルゴリズムのスケーラビリティはどの程度維持されるか？
• RQ5 チャネル相関（ρ=0.5 対 ρ=0）が変化する状況下での、提案DRLアルゴリズムと最適ポリシーとの性能ギャップはどの程度か？

主な発見

• 集中型および分散型DRLアルゴリズムは、完全なリアルタイムCSIを要する最適ポリシーと比較して、わずかなギャップで和スループットを達成しており、特に準静的フェージング（ρ=0.5）条件下で顕著である。
• 非常に動的チャネル（ρ=0）でも、両DRLアルゴリズムは最適ポリシーに近く、特に大規模フェージングパターンの学習により、相関のない小規模フェージングに対しても耐障害性を示す。
• IoTデバイス数の変動が生じても、分散型DRLアルゴリズムは高い性能とスケーラビリティを維持し、ランダム関連と比較して優れた性能を示す。集中型DRLはアクション空間の指数的増加により、実用的でなくなる場合がある。
• M=N=8の条件下で、分散型DRLは平均和スループット1.1ビット/フレーム/Hzを達成し、ランダムポリシー（0.6ビット/フレーム/Hz）を著しく上回る。
• 高動的状況（ρ=0）では、DRLと最適ポリシーとの性能ギャップがわずかに拡大するが、主に履歴情報からの相関のない小規模フェージングの予測困難性に起因する。
• 分散型DRLアルゴリズムは大規模ネットワークにおいてもスケーラブルかつ効果的であることが示され、動的IoT環境における実用的導入に適している。