[論文レビュー] IRS-Assisted Ambient Backscatter Communications Utilizing Deep Reinforcement Learning

Xiaolun Jia, Xiangyun Zhou|arXiv (Cornell University)|Mar 12, 2021

Advanced Wireless Communication Technologies参考文献 21被引用数 6

ひとこと要約

本論文は、事前のチャネル状態情報（CSI）が得られない状況下で、環境バックスキャタ通信（AmBC）におけるインテリジェントリフレクティングサーフェス（IRS）の位相シフトとリーダービームフォーミングを最適化するための深層強化学習（DRL）ベースのフレームワークを提案する。修正された深層決定的方策勾配（DDPG）アルゴリズムを用い、エピソード単位の学習とゼロ割引率を適用することで、完全なCSIベンチマークの25％以内の検出性能を達成し、未知の環境信号と変動する fading 環境下でも効果的な運用を示している。

ABSTRACT

We consider an ambient backscatter communication (AmBC) system aided by an intelligent reflecting surface (IRS). The optimization of the IRS to assist AmBC is extremely difficult when there is no prior channel knowledge, for which no design solutions are currently available. We utilize a deep reinforcement learning-based framework to jointly optimize the IRS and reader beamforming, with no knowledge of the channels or ambient signal. We show that the proposed framework can facilitate effective AmBC communication with a detection performance comparable to several benchmarks under full channel knowledge.

研究の動機と目的

• 未知の環境信号とCSIの欠如による、環境バックスキャタ通信（AmBC）における深刻な直接リンク干渉（DLI）の課題に対処すること。
• 完全なチャネル状態情報（CSI）が入手不可である状況下で、AmBCシステムにおけるIRS位相シフトの最適化の難しさを克服すること。
• 環境信号の電力やチャネル係数の知識を一切必要としない、学習ベースのフレームワークを設計すること。
• 受動タグと未知の信号源が存在する現実的な屋内環境において、CSI収集が非現実的であるため、効果的なIRS支援AmBCを実現すること。
• チャネル知識が欠如しているにもかかわらず、時間変動する環境信号を伴う状況下で、完全なCSIベンチマークと同等の性能を達成すること。

提案手法

• 部分的に観測可能な環境に適応した、CSIなしの深層決定的方策勾配（DDPG）アルゴリズムを採用する。
• 未知の環境信号とフェージングによる時間変動する報酬関数に対処するため、ゼロ割引率（γ = 0）のエピソード単位の学習を実施する。
• 即時の信号対干渉＋ノイズ比（SINR）に基づいて報酬関数を定式化し、リアルタイムの検出性能を反映する。
• 探索性と収束性の向上を図るため、非IRS状況における最適固有ベクトルコンビナーを初期方策として使用する。
• 送信元からの信号サンプルとバックスキャタデータから得られる観測値を用いて、アクター・クリティックネットワークを訓練し、IRS位相シフトとビームフォーミング重みを同時に最適化する。
• リーダーでのエネルギー検出を可能にするために、ノルムが1のビームフォーミングベクトルgを用いて線形結合を適用する。

実験結果

リサーチクエスチョン

• RQ1 CSIが一切入手不可な状況下でも、DRLベースのフレームワークがAmBCシステムにおけるIRSとビームフォーミングの最適化を効果的に行えるか？
• RQ2 CSIフリーのDRLフレームワークの性能は、完全なCSIベンチマークと比較して、検出信頼性の面でどの程度の差異を示すか？
• RQ3 学習期間とエピソード長の変更が、DRLフレームワークの収束性と性能に与える影響は何か？
• RQ4 CSIが未知の状況下で、IRSリフレクタ数の変化がシステムの検出性能に与える影響は何か？
• RQ5 明示的なチャネル推定なしに、時間相関チャネルや変動する環境信号電力に適応できるか？

主な発見

• 提案されたDRLフレームワークは、全IRSサイズにおいて、最良の完全なCSIベンチマーク（IRS付き固有ベクトルコンビナー）の25％以内の中央値一般化レート容量差（GRCD）を達成した。
• N = 64のIRSを有する状況では、最良の非IRSベンチマークと比較して、誤り率（BER）が1桁改善された。
• L_t = 100のトレーニングシンボル持続時間は、適切なトレードオフを提供し、この値を超えても利得の増加が著しく減少する。
• 長いトレーニングフェーズ（T_1）はGRCD性能の向上に寄与し、T_1 = 0では性能が著しく劣るため、CSIが欠如している状況下でランダム探索の必要性が示された。
• エピソード単位の学習とゼロ割引率のおかげで、異なるチャネル実現に対して安定した性能を維持でき、各エピソードにおける変動する報酬関数を適切に扱えた。
• 非IRS状況での最適固有ベクトルコンビナーを初期方策として使用することで、DRLプロセスにおける探索性と収束性が著しく向上した。