[論文レビュー] Deep Reinforcement Learning based Modulation and Coding Scheme Selection in Cognitive Heterogeneous Networks

Lin Zhang, Junjie Tan+3 more|arXiv (Cornell University)|Nov 7, 2018

Cognitive Radio Networks and Spectrum Sensing参考文献 28被引用数 8

ひとこと要約

本稿では、不完全なスペクトラムセンシングに起因する二次ユーザーからのインタフェンスを能動的に緩和するために、認知的ハイブリッドネットワークにおけるプライマリユーザー向けに、深層強化学習（DRL）に基づくモデュレーション・コーディング・スケジューリング（MCS）選択アルゴリズムを提案する。インタフェンスパターンを学習し、スイッチングコスト要因を組み込むことで、DRLエージェントは最適値の90–100％に近い送信レートを達成するとともに、システムオーバーヘッドを低減し、静的および動的インタフェンス環境の両方でベンチマークアルゴリズムを上回る性能を発揮する。

ABSTRACT

We consider a cognitive heterogeneous network (HetNet), in which multiple pairs of secondary users adopt sensing-based approaches to coexist with a pair of primary users on a certain spectrum band. Due to imperfect spectrum sensing, secondary transmitters (STs) may cause interference to the primary receiver (PR) and make it difficult for the PR to select a proper modulation and/or coding scheme (MCS). To deal with this issue, we exploit deep reinforcement learning (DRL) and propose an intelligent MCS selection algorithm for the primary transmission. To reduce the system overhead caused by MCS switchings, we further introduce a switching cost factor in the proposed algorithm. Simulation results show that the primary transmission rate of the proposed algorithm without the switching cost factor is 90 percent to 100 percent of the optimal MCS selection scheme, which assumes that the interference from the STs is perfectly known at the PR as prior information, and is 30 percent to 100 percent higher than those of the benchmark algorithms. Meanwhile, the proposed algorithm with the switching cost factor can achieve a better balance between the primary transmission rate and system overheads than both the optimal algorithm and benchmark algorithms.

研究の動機と目的

• 認知的ハイブリッドネットワークにおける不完全なスペクトラムセンシングに起因するプライマリユーザーの送信品質劣化という課題に対処すること。
• 未知の二次送信機からのインタフェンスを受けても、最適なモデュレーション・コーディング方式を選択できる知能的なMCS選択メカニズムを構築すること。
• 強化学習フレームワークにスイッチングコスト要因を導入することで、プライマリ送信レートとシステムオーバーヘッドのバランスを取ること。
• 静的および動的インタフェンス条件の両方において、提案されたDRLベースのアルゴリズムの性能を、最適およびベンチマークアルゴリズムと比較して評価すること。

提案手法

• プライマリ受信機に深層Qネットワーク（DQN）を用いて、時間経過に伴う二次送信機からのインタフェンスパターンを学習するDRLエージェントを採用する。
• エージェントは現在のインタフェンスレベルを観測し、長期的な報酬を最大化するようにMCSを選択する。報酬は、送信レートとスイッチングコストのトレードオフとして定義される。
• スイッチング頻度に対するペナルティを報酬関数に組み込むことで、スイッチングコスト要因を導入し、システムオーバーヘッドを低減する。
• 学習の安定化のため、経験リプレイを用いたリプレイバッファとターゲットネットワークを用いてDRLエージェントを訓練する。過去の状態-行動-報酬遷移を含むリプレイメモリから経験をサンプリングする。
• 複数の二次ユーザー対を想定した現実的な認知的HetNet環境を想定し、静的および動的インタフェンスシナリオの両方でアルゴリズムを評価する。
• 報酬関数は、即時の送信レートと、MCSスイッチング頻度に比例するペナルティ項を組み合わせており、性能とオーバーヘッドの両立を可能にする。

実験結果

リサーチクエスチョン

• RQ1 不完全なスペクトラムセンシングを伴う認知的HetNetsにおいて、DRLベースのMCS選択アルゴリズムは、二次ユーザーからのインタフェンスパターンを効果的に学習し、適応可能か？
• RQ2 スイッチングコスト要因の導入は、MCS適応におけるプライマリ送信レートとシステムオーバーヘッドのトレードオフにどのように影響を与えるか？
• RQ3 完全な干渉情報が得られる最適なMCS選択方式と比較して、提案されたDRLアルゴリズムはどの程度の性能を発揮するか？
• RQ4 SNRベースおよびUCBベースのベンチマークアルゴリズムと比較して、DRLベースのアルゴリズムは送信レートおよびスイッチング頻度の面でどの程度の性能向上を達成するか？
• RQ5 動的インタフェンス条件下で、DRLエージェントは最適アルゴリズムおよび既存のベースラインよりも、送信レートとスイッチングオーバーヘッドのバランスをどのように改善できるか？

主な発見

• 提案されたDRLベースのMCS選択アルゴリズムは、二次干渉の完全な知識を仮定した最適方式の90–100％の送信レートを達成する。
• スイッチングコストが導入されていない場合、アルゴリズムはベンチマークアルゴリズムを30–100％の送信レート向上で上回り、干渉への強い適応性を示す。
• スイッチングコスト要因を導入した場合、コストが0から6に増加するに従い、MCSスイッチングレートは約0.26から約0.03に低下するが、高い送信レートを維持する。
• 動的インタフェンス条件下では、スイッチングコストが0から3.5の間、DRLアルゴリズムはUCBアルゴリズムよりも高い収束送信レート（1.25–2 kbits/frame）を達成し、スイッチングレートは同等である。
• スイッチングコストが3.5から6の間、DRLアルゴリズムはUCBアルゴリズムよりも高い収束送信レート（2 kbits/frame以上）を達成し、スイッチングレートも同等（約0.03）に保つ。これは、厳しいオーバーヘッド制約下でも優れた性能を示している。
• スイッチングコストが0.5から6の全範囲において、DRLベースのアルゴリズムはSNRベースのアルゴリズムを送信レートおよびスイッチングレートの両面で常に上回り、強固で適応性に富んだ性能を示している。