[論文レビュー] Intelligent Reflecting Surface Assisted Anti-Jamming Communications: A Fast Reinforcement Learning Approach

Helin Yang, Zehui Xiong+5 more|arXiv (Cornell University)|Apr 27, 2020

Advanced Wireless Communication Technologies参考文献 35被引用数 10

ひとこと要約

本稿では、無線通信におけるジャミング対策性能を向上させるために、知能反射表面（IRS）を用いた高速強化学習手法を提案する。ベースステーションの電力割り当てとIRSの反射ビームフォーミングを、ファジィ・ウィン・オア・ラーン・ファスト・ポリシー・ヒルクライミング（WoLF-CPHC）アルゴリズムにより共同最適化することで、特に大規模なIRS素子数（M=100）において、ジャミングモデルの事前知識が不要であるにもかかわらず、優れたシステムレートと100%のSINR保護水準を達成する。

ABSTRACT

Malicious jamming launched by smart jammers can attack legitimate transmissions, which has been regarded as one of the critical security challenges in wireless communications. With this focus, this paper considers the use of an intelligent reflecting surface (IRS) to enhance anti-jamming communication performance and mitigate jamming interference by adjusting the surface reflecting elements at the IRS. Aiming to enhance the communication performance against a smart jammer, an optimization problem for jointly optimizing power allocation at the base station (BS), and reflecting beamforming at the IRS is formulated while considering quality of service (QoS) requirements of legitimate users. As the jamming model and jamming behavior are dynamic and unknown, a fuzzy win or learn fast-policy hill-climbing (WoLFPHC) learning approach is proposed to jointly optimize the anti-jamming power allocation and reflecting beamforming strategy, where WoLFPHC is capable of quickly achieving the optimal policy without the knowledge of the jamming model, and fuzzy state aggregation can represent the uncertain environment states as aggregate states. Simulation results demonstrate that the proposed anti-jamming learning-based approach can efficiently improve both the IRS-assisted system rate and transmission protection level compared with existing solutions.

研究の動機と目的

• 未知で変動するジャミング行動が存在する状況下における、無線通信分野におけるジャミング対策の課題に取り組むこと。
• 信号強化と干渉低減に向けた知能反射表面（IRS）の活用により、システムレートと伝送信頼性を向上させること。
• サービス品質（QoS）制約のもとで、ベースステーションの電力割り当てとIRSの反射ビームフォーミングを共同最適化すること。
• ジャミング特性の事前知識がなくても、不確実なジャミング環境に適応可能な高速でモデルフリーの学習アルゴリズムを開発すること。
• 新規のファジィ状態集約およびウィン・オア・ラーン・ファスト・ポリシー・ヒルクライミング（WoLF-CPHC）強化学習フレームワークを通じて、スマートジャマーディスロールの耐性を高めること。

提案手法

• QoS制約のもとで、基地局（BS）の送信電力とIRSにおける反射ビームフォーミングを共同最適化する非凸最適化問題を定式化する。
• ジャミングモデルの事前知識が不要な最適ジャミング対策戦略を学習するため、ファジィ・ウィン・オア・ラーン・ファスト・ポリシー・ヒルクライミング（WoLF-CPHC）強化学習アルゴリズムを提案する。
• 不確実な環境状態を集約状態として表現するために、ファジィ状態集約（FSA）を用いる。これにより、動的環境における学習効率が向上する。
• SINRに配慮した報酬関数を採用することで、ジャミングに対する保護を優先し、システムの耐障害性を向上させる。
• 高速なポリシー収束により、未知のジャミング行動にリアルタイムで適応可能となる。
• IRSは位相シフトを調整して所望信号の電力を強化し、ジャミング干渉を抑制する。一方、電力割り当てによりQoS要件が満たされる。

実験結果

リサーチクエスチョン

• RQ1 未知のスマートジャマーモデルが存在する状況下で、IRS支援ビームフォーミングと電力割り当てがどのように共同してジャミング対策性能を向上させるか？
• RQ2 モデルフリーの強化学習アプローチは、不確実で変動しやすいジャミング環境において、高速な収束と最適ポリシーを達成できるか？
• RQ3 IRS素子数（M）が、ジャミング対策通信におけるシステムレートとSINR保護水準に与える影響は何か？
• RQ4 提案されたファジィ WoLF-CPHC 法は、従来のQ学習およびベースライン手法と比較して、性能と耐障害性の面でどのように差をつけるか？
• RQ5 電力割り当てと反射ビームフォーミングの共同最適化は、スマートジャミングに対するシステムのレジリエンスをどの程度向上させるか？

主な発見

• M=100の反射素子を有する場合、提案手法は12.21ビット/s/Hzのシステムレートを達成し、ベースライン手法を著しく上回る。
• M≥60の条件下で、提案手法は100%のSINR保護水準を達成するが、他の手法は特に高いSINR目標値の下で劣る。
• IRS素子数（M）が増加するにつれて、提案手法とベースライン手法との性能差が拡大し、スケーラビリティと適応性が裏付けられる。
• 高いSINR目標要件（SINR^min > しきい値）の下では、ジャミング干渉の影響によりシステムレートと保護水準が急激に低下するが、IRS支援手法は優れた性能を維持する。
• ファジィ WoLF-CPHC を用いたアプローチは、高速Q学習およびベースライン手法を上回り、特に厳しいQoS制約下でもシステムレートとSINR保護の両面で優れた性能を示す。
• 電力割り当てと反射ビームフォーミングの共同最適化が、ジャミング対策性能を最大化するために不可欠であることが、提案手法の優れた結果から明らかである。