[論文レビュー] Intelligent Power Control for Spectrum Sharing: A Deep Reinforcement Learning Approach.

Jun Fang, Xingjian Li+3 more|arXiv (Cornell University)|Dec 20, 2017

Cognitive Radio Networks and Spectrum Sensing参考文献 35被引用数 10

ひとこと要約

本論文は、認知無線ネットワークにおけるセカンダリユーザーのための深層強化学習（DRL）ベースの電力制御フレームワークを提案しており、プライマリユーザーの行動に関する事前知識がなくても、送信電力を知的に調整できるようにしている。空間的に配置されたセンサーノードが信号強度をモニタリングすることで、DRLエージェントは数回の反復内に両ユーザーの成功した同時送信を達成し、サービス品質要件を満たすことを可能にする。

ABSTRACT

We consider the problem of spectrum sharing in a cognitive radio system consisting of a primary user and a secondary user. The primary user and the secondary user work in a non-cooperative manner, and independently adjust their respective transmit power. Specifically, the primary user is assumed to update its transmit power based on a pre-defined power control policy. The secondary user does not have any knowledge about the primary user's transmit power, neither its power control strategy. The objective of this paper is to develop a learning-based power control method for the secondary user in order to share the common spectrum with the primary user. To assist the secondary user, a set of sensor nodes are spatially deployed to collect the received signal strength information at different locations in the wireless environment. We develop a deep reinforcement learning-based method for the secondary user, based on which the secondary user can intelligently adjust its transmit power such that after a few rounds of interaction with the primary user, both the primary user and the secondary user can transmit their own data successfully with required qualities of service. Our experimental results show that the secondary user can interact with the primary user efficiently to reach a goal state (defined as a state in which both the primary and the secondary users can successfully transmit their own data) from any initial states within a few number of iterations.

研究の動機と目的

• セカンダリユーザーがプライマリユーザーの電力制御戦略を把握していない状況における周波数帯共有の課題に対処すること。
• 非協力的環境下でセカンダリユーザーが動的に送信電力を調整し、サービス品質を維持できること。
• セカンダリユーザーがプライマリユーザーと相互作用することで、成功した送信状態に収束する学習ベースの手法を開発すること。
• 分散型センサーノードを活用して、意思決定に役立つリアルタイムの信号強度情報を収集すること。
• 動的無線環境において、最小限の干渉と高い信頼性で効率的な周波数帯アクセスを達成すること。

提案手法

• 深層Qネットワーク（DQN）の強化学習エージェントを訓練し、センサーノードからの観測に基づいてセカンダリユーザーの送信電力を最適化する。
• センサーノードを空間的に配置し、無線環境全体の受信信号強度（RSS）測定値を収集する。
• DRLエージェントの状態空間には、複数のセンサーからのRSS読み取り値が含まれ、現在の無線環境を表す。
• 行動空間は、セカンダリユーザーがデータ送信に選択可能な離散的な電力レベルから構成される。
• 報酬関数は、プライマリおよびセカンダリユーザーの両方の成功した送信を促進するとともに、干渉を最小限に抑えるように設計されている。
• DRLエージェントは、プライマリユーザーとの試行錯誤による相互作用を通じて学習し、長期的な報酬を最大化する方策を更新する。

実験結果

リサーチクエスチョン

• RQ1 プライマリユーザーの電力制御戦略を知らない状況でも、セカンダリユーザーが送信電力を効果的に調整できるか。
• RQ2 DRLベースのエージェントは、両ユーザーが必要なQoSを満たして成功した送信を行う状態に、どの程度の速さで収束するか。
• RQ3 分散型センサーノードが、正確で迅速な電力制御意思決定を可能にする役割は何か。
• RQ4 さまざまな初期状態や環境条件下でも、DRLベースのアプローチはどの程度の頑健性を示すか。
• RQ5 センサーの配置やRSS測定の精度は、セカンダリユーザーの学習性能にどのような影響を与えるか。

主な発見

• 任意の初期状態から数回の反復内に、セカンダリユーザーは両ユーザーが正常に送信する「ゴール状態」に到達する。
• DRLベースの手法により、プライマリユーザーの電力制御戦略を明示的に知らなくても、効率的な周波数帯共有が可能になる。
• 空間的に分散配置されたセンサーノードの活用により、DRLエージェントの環境状態推定の正確性が著しく向上する。
• 提案手法は、さまざまな初期条件においても信頼性の高い性能を示し、優れた汎化能力を有している。
• 学習プロセスは急速に収束するため、動的認知無線環境におけるリアルタイム展開の可能性が示された。