[論文レビュー] Traffic Prediction and Random Access Control Optimization: Learning and Non-learning based Approaches

Nan Jiang, Yansha Deng+1 more|arXiv (Cornell University)|Feb 18, 2020

IoT Networks and Protocols参考文献 14被引用数 7

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNN）を用いたトラフィック予測と、深層強化学習（DRL）を用いたアクセス制御設定を分離することで、従来の1ステップDRL手法に比べて、訓練効率とアクセス性能を顕著に向上させる2段階協調的事前学習および学習（CPCL）に基づく最適化手法を提案する。CPCL手法は、4G/5Gネットワークにおけるランダムアクセス制御において、収束が最大100倍速くなり、より高い成功アクセス率を達成する。

ABSTRACT

Random access schemes in modern wireless communications are generally based on the framed-ALOHA (f-ALOHA), which can be optimized by flexibly organizing devices' transmission and re-transmission. However, this optimization is generally intractable due to the lack of information about complex traffic generation statistics and the occurrence of the random collision. In this article, we first summarize the general structure of access control optimization for different random access schemes, and then review the existing access control optimization based on Machine Learning (ML) and non-ML techniques. We demonstrate that the ML-based methods can better optimize the access control problem compared with non-ML based methods, due to their capability in solving high complexity long-term optimization problem and learning experiential knowledge from reality. To further improve the random access performance, we propose two-step learning optimizers for access control optimization, which individually execute the traffic prediction and the access control configuration. In detail, our traffic prediction method relies on online supervised learning adopting Recurrent Neural Networks (RNNs) that can accurately capture traffic statistics over consecutive frames, and the access control configuration can use either a non-ML based controller or a cooperatively trained Deep Reinforcement Learning (DRL) based controller depending on the complexity of different random access schemes. Numerical results show that the proposed two-step cooperative learning optimizer considerably outperforms the conventional Deep Q-Network (DQN) in terms of higher training efficiency and better access performance.

研究の動機と目的

• マッハインテリジェントオブジェクト（IoT）および5Gネットワークにおける動的かつ不確実なトラフィックおよび衝突状態下でのランダムアクセス制御最適化の非可解性に対処すること。
• 簡素化されたモデルに依存する学習を伴わない手法の限界を克服し、高い複雑性と現実世界の動的特性に対応すること。
• 収束が遅く、計算コストが高いため、性能に制限がある1ステップDRLアプローチを改善すること。
• トラフィック予測と制御設定の協調的学習を通じて、オンライン適応性を実現し、より優れた性能を達成する学習ベースのフレームワークを開発すること。

提案手法

• 本手法は2段階の学習フレームワークを採用する：まず、連続フレームからのトラフィック負荷を予測するRNNベースのオンライン教師ありトラフィック予測器を用いる。
• 得られたトラフィック予測を用いて、アクセス制御設定のためのDRLエージェントを事前学習し、収束を高速化する。
• DRLエージェントは、予測されたトラフィックに基づいて、リアルタイムでアクセス制御パラメータ（例：アクセスクラスバーリング（ACB）およびバックオフ要因）を設定する。
• RNNの学習を改善するため、別個のDNNをオフラインで用いて誤差補正済みのトラフィック値を推定する。
• RNNとDRLエージェントは協調的に学習され、RNNがDRLエージェントに文脈を提供することで、エンドツーエンドの学習タスクの複雑性が低減される。
• 本フレームワークはオンライン適応をサポートしており、共有予測と複数エージェントを用いることで、複数のアクセス制御パラメータへの拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 2段階の学習アプローチは、ランダムアクセス制御における訓練効率とアクセス性能において、1ステップDRLを上回ることができるか？
• RQ2 トラフィック予測と制御設定を分離することで、収束速度と最適化品質にどのような影響を与えるか？
• RQ3 予測されたトラフィックを用いてDRLエージェントを事前学習することで、エンドツーエンド学習に比べて学習効率がどの程度向上するか？
• RQ4 提案されたCPCLフレームワークは、複数の制御パラメータを有する複雑なランダムアクセス方式（例：ACBおよびBO）に効果的に適用可能か？
• RQ5 CPCLベースの最適化手法は、非機械学習（non-ML）および既存の機械学習ベース手法と比較して、成功アクセス率および計算コストの面で優れているか？

主な発見

• CPCLベースの最適化手法は、従来のDRLベースの最適化手法に比べ、最大100倍速い収束を達成し、収束に約2エピソードで完了する一方で、従来手法は170エピソードを要する。
• CPCLベースの最適化手法は、訓練効率および最終的なアクセス性能の両面でDRLベースの最適化手法を上回り、1エピソードあたりの平均成功アクセスデバイス数がより高い。
• DRLエージェントの事前学習は収束を顕著に加速させ、制御方策学習のための予測トラフィックを事前知識として用いる利点を示している。
• 2段階アプローチにより、予測と制御を分離することで、エンドツーエンド最適化問題の複雑性が低減され、学習がより安定的かつ効率的になる。
• CPCLフレームワークは、動的トラフィックへのより優れた適応性を実現し、共有予測を用いたマルチパラメータアクセス制御設定をサポートし、実装を容易にする。
• 数値結果により、CPCLベースの最適化手法が、既存の非MLおよびMLベース手法に比べ、より高い成功アクセス率と優れたスケーラビリティを達成することが確認された。