[論文レビュー] Deep-Reinforcement Learning Multiple Access for Heterogeneous Wireless Networks

Yiding Yu, Taotao Wang+1 more|arXiv (Cornell University)|Dec 1, 2017

Advanced MIMO Systems Optimization参考文献 14被引用数 15

ひとこと要約

本稿では、TDMA や ALOHA、あるいはそれらの混合プロトコルと併存するが、それらのメカニズムを事前に知らない状態で、ノードが自己学習によって最適なスペクトルアクセス戦略を獲得できる MAC プロトコルである Deep-Reinforcement Learning Multiple Access (DLMA) を提案する。ResNet アーキテクチャを用いた深層 Q ネットワーク（DQN）を用いることで、エンドツーエンドの学習により、ほぼ最適な合計スルーブプットと比例公平性を達成し、収束が速く、ハイパーパramータ設定に対して頑健であることを示した。

ABSTRACT

This paper investigates the use of deep reinforcement learning (DRL) in a MAC protocol for heterogeneous wireless networking referred to as Deep-reinforcement Learning Multiple Access (DLMA). The thrust of this work is partially inspired by the vision of DARPA SC2, a 3-year competition whereby competitors are to come up with a clean-slate design that "best share spectrum with any network(s), in any environment, without prior knowledge, leveraging on machine-learning technique". Specifically, this paper considers the problem of sharing time slots among a multiple of time-slotted networks that adopt different MAC protocols. One of the MAC protocols is DLMA. The other two are TDMA and ALOHA. The nodes operating DLMA do not know that the other two MAC protocols are TDMA and ALOHA. Yet, by a series of observations of the environment, its own actions, and the resulting rewards, a DLMA node can learn an optimal MAC strategy to coexist harmoniously with the TDMA and ALOHA nodes according to a specified objective (e.g., the objective could be the sum throughput of all networks, or a general alpha-fairness objective).

研究の動機と目的

• 既存の MAC プロトコル（例：TDMA や ALOHA）のメカニズムを事前に知らない状態で、異種無線ネットワークと動的に併存可能な MAC プロトコルの設計。
• 動的でリアルタイムな環境下で、強化学習を用いて最適なタイムスロットアクセス戦略を自律的に学習可能にする。
• モデルベースの仮定を必要とせず、合計スルーブプットの最大化や比例公平性を含む一般化された α-公平性の目的を達成する。
• 収束速度およびハイパーパramータ設定に対する頑健性という観点から、従来の強化学習（RL）と深層強化学習（DRL）の優位性を評価する。
• Q 関数と目的関数を分離することで Q-学習フレームワークを一般化し、多様な公平性指標の最適化を柔軟に可能にする。

提案手法

• 状態-行動ペアから Q 値へのマッピングに、深層残差ネットワーク（ResNet）を関数近似器として用いた深層 Q ネットワーク（DQN）を採用する。
• 標準的な DQN 学習手順に従い、リプレイバッファとターゲットネットワークを用いて学習を安定化させる。
• Q 学習の目的関数を再定式化し、Q 関数と公平性目的関数を分離することで、一般化された α-公平性指標の最適化を可能にする。
• 環境との相互作用から得た状態-行動-報酬の三元組を用いて DRL エージェントを学習させ、状態にはチャネルの占有状況と送信履歴が含まれる。
• Q 値推定における過大評価バイアスを低減するため、ダブル DQN の変種を適用する。
• スルーブプットと公平性指標に基づく報酬関数を用い、目的を合計スルーブプットまたは比例公平性に動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 DRL を用いた MAC プロトコルは、時分割スロット環境下で、未知の異種 MAC プロトコル（例：TDMA や ALOHA）と効率的に併存する学習を可能にするか？
• RQ2 動的無線ネットワーキング環境において、DRL は従来の RL と比較して収束速度が速く、ハイパーパramータ設定に対してより頑健であるか？
• RQ3 共存ネットワークの下位層 MAC メカニズムを知らない状態でも、DRL エージェントはほぼ最適な合計スルーブプットと比例公平性を達成できるか？
• RQ4 Q 関数と目的関数を分離することで、Q-学習フレームワークを任意の α-公平性目的に一般化できるか？
• RQ5 ResNet アーキテクチャを用いることで、単純な DNN と比較して、異なるネットワーク環境における一般化性能が向上するか？

主な発見

• DLMA は、TDMA や ALOHA、あるいはそれらの混合ネットワークと併存する状況でも、それらのプロトコルのメカニズムを事前に知らない状態で、ほぼ最適な合計スルーブプットを達成した。
• 再定式化された DLMA プロトコルは、TDMA および ALOHA ノードと併存する状況で比例公平性を達成し、モデルを把握したベンチマークノードと同等の性能を示した。
• 1 つの TDMA ノードと 1 つの q-ALOHA ノードが混在する状況では、DLMA はすべてのノードの最適な個別スルーブプットを近似し、効果的な公平性のバランスを実現した。
• 1 つの TDMA ノードと 2 つの q-ALOHA ノードと併存する状況で、3 つの DRL ノードが 1 つの BigAgent として動作した場合、DLMA は理論的最適値に近いスルーブプットを達成した（図 11 参照）。
• 従来の RL よりも収束が早く、非最適なハイパーパramータ設定に対しても頑健であるため、急速に変化する無線環境に適している。
• ResNet を DRL エージェントに適用することで、ネットワークの深さを再調整することなく多様なネットワーク環境で安定した性能を発揮した。一方、単純な DNN では、状況に応じたアーキテクチャの微調整が必要であった。