[論文レビュー] Towards Joint Learning of Optimal MAC Signaling and Wireless Channel Access

Álvaro Valcarce, Jakob Hoydis|arXiv (Cornell University)|Jul 20, 2020

Distributed Sensor Networks and Detection Algorithms参考文献 24被引用数 4

ひとこと要約

本論文は、事前プロトコル知識なしで、無線ネットワークにおける最適なMAC層シグナリングおよびチャネルアクセスポリシーを共同で学習するためのマルチエージェント強化学習（MARL）手法を提案する。この手法は、熟練者が設計したプロトコルと同等の性能を達成し、従来の競合ベースまたは協調型方式を凌駕する、流動的でハイブリッドなシグナリング・チャネルアクセス戦略を発見する。また、予め見られなかったチャネル状態やユーザー負荷に対しても、強力な一般化性能を示している。

ABSTRACT

Communication protocols are the languages used by network nodes. Before a user equipment (UE) can exchange data with a base station (BS), it must first negotiate the conditions and parameters for that transmission. This negotiation is supported by signaling messages at all layers of the protocol stack. Each year, the mobile communications industry defines and standardizes these messages, which are designed by humans during lengthy technical (and often political) debates. Following this standardization effort, the development phase begins, wherein the industry interprets and implements the resulting standards. But is this massive development undertaking the only way to implement a given protocol? We address the question of whether radios can learn a pre-given target protocol as an intermediate step towards evolving their own. Furthermore, we train cellular radios to emerge a channel access policy that performs optimally under the constraints of the target protocol. We show that multi-agent reinforcement learning (MARL) and learning-to-communicate (L2C) techniques achieve this goal with gains over expert systems. Finally, we provide insight into the transferability of these results to scenarios never seen during training.

研究の動機と目的

• 無線ラジオが、従来の人的設計による標準化を経由せずに、強化学習によってターゲットMACプロトコルを学習可能かどうかを調査すること。
• MACシグナリングとチャネルアクセスポリシーを、別々の問題として扱うのではなく、MARLを用いて共同最適化すること。
• 訓練中に見未曾有の環境、たとえばユーザー数、BLER、トラフィック負荷の変化が生じる状況下での、学習済みプロトコルの性能と一般化能力を評価すること。
• 簡素化されたシナリオでのエージェント訓練と、より複雑で現実世界に近い無線展開への展開可能性を検討すること。
• シグナリングとアクセスポリシーの共同学習を通じて、完全に自律的かつ自己生成的なMACプロトコルの基盤を築くこと。

提案手法

• 著者らは、表形式のQ学習と$ε$-グリーディ探索および$ε$-減少を用い、基地局を伴う簡素化された無線環境で複数のMACエージェントを訓練している。
• エージェントは、各ユーザー設備（UE）がローカルな観測と報酬のみを用いて他のエージェントと協調する自己対戦型マルチエージェント強化学習フレームワークで訓練されている。
• 環境は、固定ユーザー数、ブロック誤り率（BLER）、最大送信時間（$t_{\text{max}}$）、保留パケット用のバッファを備えたスロット型ALOHAに類似したシステムをモデル化している。
• 学習の目的は、シグナリング制約を尊重しつつ、成功した送信（スループット）を最大化することであり、報酬は成功したパケット送信ごとに与えられる。
• 一般化性能の評価は、ある環境パラメータ設定（例：低BLER、少数ユーザー）で学習し、別の設定（例：高BLER、多数ユーザー、多数SDU）でテストすることで実施されている。
• 独立した訓練ランと性能の平均化を用いて、ユーザー数（$|U|$）、BLER、送信するSDU数の変化に伴うプロトコルの転送可能性を評価している。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、プロトコル構造に関する事前知識なしに、ターゲットMACシグナリングプロトコルと最適なチャネルアクセスポリシーを共同で学習可能か？
• RQ2 スループットと信頼性の観点から、学習済みプロトコルの性能は熟練者が設計したプロトコルと比べてどの程度か？
• RQ3 低負荷・低誤り環境で訓練されたMACポリシーが、高負荷または誤り率の高い環境にどの程度一般化可能か？
• RQ4 学習済みプロトコルは、競合ベースと協調アクセスの両方の特徴を併せ持つ、それとも全く新しいハイブリッド戦略として出現するか？
• RQ5 訓練時に見未曾有の展開環境（例：異なるユーザー数、トラフィック負荷）に、学習済みシグナリングおよびアクセスポリシーを転送可能か？

主な発見

• MARLエージェントは、事前知識なしで、プロトコル構造を知らない状態からでも、最適なシグナリングとチャネルアクセスポリシーを共同で学習し、熟練者が設計したプロトコルと同等の性能を達成した。
• 学習済みプロトコルは、厳密に競合ベースまたは協調型ではないが、両者の特徴を融合した流動的かつ適応的な行動を示し、中央集権的制御のない5G-NRのグラントフリー方式に類似した振る舞いを示している。
• ユーザー数（$|U|$）とブロック誤り率（BLER）の変化に対して、強い一般化性能を示しており、訓練済みエージェントはより困難な条件下でも高い性能を維持している。
• 送信すべきSDU数が訓練設定を超えて増加すると、性能が著しく低下しており、訓練時のトラフィック負荷に過剰適合している（オーバーフィッティング）ことが示唆された。
• エージェントは基地局からのダウンリンクシグナリングを理解しているが、必ずしもそれに従わない場合もあり、明示的にプログラムされていないが自己整合性を持つプロトコルが出現している可能性を示している。
• 結果から、学習済みプロトコルは、負荷やチャネル品質といった展開固有のパrameterに適応できるため、静的で人的に設計されたプロトコルを上回る可能性があることが示唆された。