[論文レビュー] Applications of Multi-Agent Reinforcement Learning in Future Internet: A Comprehensive Survey

Tianxu Li, Kun Zhu+5 more|arXiv (Cornell University)|Oct 26, 2021

Opportunistic and Delay-Tolerant Networks参考文献 180被引用数 13

ひとこと要約

本論文は、5G/6G、UAVネットワーク、IoT、車両通信ネットワークを含む将来のインターネット技術におけるマルチエージェント強化学習（MARL）の応用について包括的なサーベイを提示している。MARLはエージェント間の相互作用をモデル化することで、分散型で適応的な意思決定を可能にし、協力と競争を通じて動的環境におけるネットワーク性能を向上させる。主な応用分野には、ネットワークアクセス、電力制御、タスクオフロード、セキュリティが含まれる。

ABSTRACT

Future Internet involves several emerging technologies such as 5G and beyond 5G networks, vehicular networks, unmanned aerial vehicle (UAV) networks, and Internet of Things (IoTs). Moreover, future Internet becomes heterogeneous and decentralized with a large number of involved network entities. Each entity may need to make its local decision to improve the network performance under dynamic and uncertain network environments. Standard learning algorithms such as single-agent Reinforcement Learning (RL) or Deep Reinforcement Learning (DRL) have been recently used to enable each network entity as an agent to learn an optimal decision-making policy adaptively through interacting with the unknown environments. However, such an algorithm fails to model the cooperations or competitions among network entities, and simply treats other entities as a part of the environment that may result in the non-stationarity issue. Multi-agent Reinforcement Learning (MARL) allows each network entity to learn its optimal policy by observing not only the environments, but also other entities' policies. As a result, MARL can significantly improve the learning efficiency of the network entities, and it has been recently used to solve various issues in the emerging networks. In this paper, we thus review the applications of MARL in the emerging networks. In particular, we provide a tutorial of MARL and a comprehensive survey of applications of MARL in next generation Internet. In particular, we first introduce single-agent RL and MARL. Then, we review a number of applications of MARL to solve emerging issues in future Internet. The issues consist of network access, transmit power control, computation offloading, content caching, packet routing, trajectory design for UAV-aided networks, and network security issues.

研究の動機と目的

• 異種で分散型の将来のネットワークにおいて、エージェント間の相互作用が非定常性を引き起こすため、単一エージェント強化学習の限界を克服すること。
• ネットワークアクセス、電力制御、計算オフロード、コンテンツキャッシュといった、将来的なインターネットの主要分野におけるMARLの応用をサーベイすること。
• エージェント間の協力と競争を可能にするMARL技術を分析し、ネットワークの効率性と安定性を向上させること。
• 通信オーバーヘッド、報酬設計、スケーラビリティといった、MARLの実装における未解決の課題を特定すること。
• NB-IoTのスペクトラム管理、ブロックチェーンインセンティブのテスト、オークションベースのリソース割り当てといった、今後の研究方向性を提案すること。

提案手法

• 将来のインターネットにおけるMARLに関する150件以上の最近の研究を、応用分野とMARLアルゴリズムの種別に分類してサーベイすること。
• MARL手法を独立学習者、分散実行を伴う集中学習（CTDE）、価値分解アプローチに分類すること。
• 部分観測可能性と通信メカニズムを統合したMARLフレームワークを分析し、分散意思決定を処理すること。
• 協力と競争のバランスを取るために、グローバル報酬、ローカル報酬、混合報酬といった報酬設計戦略を評価すること。
• セキュリティやオークションベースのスペクトラム割り当てにおいて、マルチエージェント相互作用におけるナッシュ均衡をモデル化するためにMARLを適用すること。
• マーカフ決定過程（MDPs）と部分的に観測可能なMDPs（POMDPs）を用いて、不確実性下でのエージェント意思決定を形式化すること。

実験結果

リサーチクエスチョン

• RQ1 動的で分散型の将来のネットワークにおいて、MARLはどのようにネットワークエージェント間の協力的かつ競争的な相互作用を効果的にモデル化できるか？
• RQ2 大規模かつ異種のネットワークにおいて、学習の安定性と収束性を向上させるために、どのような主要なMARL技術が有効か？
• RQ3 グローバル報酬、ローカル報酬、混合報酬といった異なる報酬関数は、ネットワーク最適化タスクにおける性能と公平性にどのように影響を与えるか？
• RQ4 通信オーバーヘッドとスケーラビリティの観点から、実世界の将来のインターネットシステムへのMARLの導入における主な課題は何か？
• RQ5 ブロックチェーンインセンティブメカニズムやスペクトラムオークションにおいて、MARLはどのようにセキュリティとレジリエンスを強化できるか？

主な発見

• MARLはエージェント間の相互作用をモデル化することで、単一エージェント強化学習に見られる非定常性の問題を軽減し、学習効率とネットワーク性能を顕著に向上させる。
• 特に集中学習・分散実行（CTDE）フレームワークを通じて、グローバル最適化を達成しつつ分散型意思決定を可能にする。
• グローバル報酬とローカル報酬を組み合わせた混合報酬設計は、協力と競争のバランスを取ることで、単一報酬戦略を上回るエージェントのパフォーマンスを実現する。
• MARLは、ネットワークアクセス、送信電力制御、計算オフロード、UAV支援ネットワークにおける軌道計画の最適化に成功して応用されている。
• 合理的なエージェント行動をシミュレートし、ナッシュ均衡を学習することで、ブロックチェーンインセンティブメカニズムの脆弱性を特定するのに有効である。
• 今後の応用分野としてのNB-IoTスレクトルム管理とオークションベースのスペクトラム割り当ては、干渉を低減しリソース利用効率を向上させる強力な可能性を示している。