[論文レビュー] Deep Multi-User Reinforcement Learning for Dynamic Spectrum Access in Multichannel Wireless Networks

Oshri Naparstek, Kobi Cohen|arXiv (Cornell University)|Apr 9, 2017

Cognitive Radio Networks and Spectrum Sensing被引用数 5

ひとこと要約

本稿では、複数チャネル無線ネットワークにおける動的スペクトルアクセスのためのディープマルチユーザ強化学習フレームワークを提案する。ユーザーは調整なしに局所的なACKフィードバックのみを用いて最適なチャネルアクセスポリシーを学習可能である。分散型ディープQネットワークを活用することで、メッセージ交換やキャリアセンシングなしに部分的に観測可能な環境でも高いネットワーク効用を達成する。

ABSTRACT

We consider the problem of dynamic spectrum access for network utility maximization in multichannel wireless networks. The shared bandwidth is divided into K orthogonal channels, and the users access the spectrum using a random access protocol. In the beginning of each time slot, each user selects a channel and transmits a packet with a certain attempt probability. After each time slot, each user that has transmitted a packet receives a local observation indicating whether its packet was successfully delivered or not (i.e., ACK signal). The objective is to find a multi-user strategy that maximizes a certain network utility in a distributed manner without online coordination or message exchanges between users. Obtaining an optimal solution for the spectrum access problem is computationally expensive in general due to the large state space and partial observability of the states. To tackle this problem, we develop a distributed dynamic spectrum access algorithm based on deep multi-user reinforcement leaning. Specifically, at each time slot, each user maps its current state to spectrum access actions based on a trained deep-Q network used to maximize the objective function. Experimental results have demonstrated that users are capable to learn good policies that achieve strong performance in this challenging partially observable setting only from their ACK signals, without online coordination, message exchanges between users, or carrier sensing.

研究の動機と目的

• 分散的かつ非協調的なユーザーを有する複数チャネル無線ネットワークにおけるネットワーク効用の最大化という課題に対処すること。
• ユーザーが唯一のフィードバックとしてACK信号が利用可能な部分的に観測可能な環境で、最適なスペクトルアクセス戦略を学習できるようにすること。
• 動的スペクトルアクセスプロトコルにおいて、オンラインの調整、メッセージ交換、キャリアセンシングの必要性を排除すること。
• ユーザー数やチャネル数に応じてスケーラブルでありながら、高い性能を維持する分散型の解決策を開発すること。

提案手法

• 各ユーザーは、各タイムスロットにおける局所的観測（ACKステータス）を、チャネルアクセス行動にマッピングするためのディープQネットワーク（DQN）を用いる。
• 報酬信号はネットワーク効用関数から導出される強化学習フレームワークを用いてDQNを訓練する。
• アルゴリズムは分散的に動作し、各ユーザーは自身のACKフィードバックのみに基づいて独立して学習する。
• 状態表現にはユーザーの現在のチャネルと過去のACK結果が含まれており、時間的信用配分が可能である。
• 行動空間は、K個の直交チャネルのうち1つを選択し、送信の試行確率を設定することから成る。
• 経験リプレイとターゲットネットワークを活用することで、部分的に観測可能なマルコフ決定過程における学習を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 ユーザーは、調整なしにACKフィードバックのみを用いて、分散的に効果的なスペクトルアクセスポリシーを学習できるか？
• RQ2 部分的観測と限られたフィードバックの下で、ディープマルチユーザ強化学習はネットワーク効用の最大化にどの程度効果的に機能するか？
• RQ3 提案手法は、動的スペクトル環境下で従来のランダムアクセスや固定チャネル割り当て方式をどの程度上回るか？
• RQ4 ユーザー数やチャネル状態の変化に対して、学習プロセスはどの程度頑健か？

主な発見

• 提案されたディープマルチユーザ強化学習アルゴリズムにより、オンラインの調整やメッセージ交換なしに、高パフォーマンスなスペクトルアクセスポリシーをユーザーが学習可能である。
• ユーザーはACK信号のみをフィードバックとして用いることで、部分的に観測可能な環境でも効果的な学習を実現し、高いネットワーク効用を達成する。
• アルゴリズムはユーザー数やチャネル数に応じて良好にスケーリングされ、安定した学習と収束を維持する。
• 実験結果から、学習されたポリシーはネットワーク効用の観点で、ベースラインのランダムアクセスおよび固定チャネル割り当て戦略を著しく上回ることが示された。