[論文レビュー] ns3-gym: Extending OpenAI Gym for Networking Research

Piotr Gawłowicz, Anatolij Zubow|arXiv (Cornell University)|Oct 9, 2018

Software-Defined Networks and 5G参考文献 8被引用数 58

ひとこと要約

ns3-gymは OpenAI Gym と ns-3 ネットワークシミュレータを統合し、RLベースのネットワーキング研究を標準化し、エミュレーション/テストベッドでの検証を可能にします。

ABSTRACT

OpenAI Gym is a toolkit for reinforcement learning (RL) research. It includes a large number of well-known problems that expose a common interface allowing to directly compare the performance results of different RL algorithms. Since many years, the ns-3 network simulation tool is the de-facto standard for academic and industry research into networking protocols and communications technology. Numerous scientific papers were written reporting results obtained using ns-3, and hundreds of models and modules were written and contributed to the ns-3 code base. Today as a major trend in network research we see the use of machine learning tools like RL. What is missing is the integration of a RL framework like OpenAI Gym into the network simulator ns-3. This paper presents the ns3-gym framework. First, we discuss design decisions that went into the software. Second, two illustrative examples implemented using ns3-gym are presented. Our software package is provided to the community as open source under a GPL license and hence can be easily extended.

研究の動機と目的

• ネットワーク向け RL のプロトタイピングの障壁を、RL フレームワークとシミュレータのインターフェースを統一することで低減する。
• 任意の ns-3 シミュレーションスクリプトを Gym 環境にするための汎用 OpenAI Gym インタフェースを提供する。
• 共通の API を用いたネットワーキングにおける RL アプローチのベンチマークと公正な比較を促進する。
• 実機とのエミュレーションを可能にして、シミュレーションと現実世界のネットワークを橋渡しする。

提案手法

• Gym がエージェントを提供し ns-3 が環境を提供する、二ブロックアーキテクチャを導入する。
• ns-3 シミュレーションのライフサイクルと状態/行動の交換を管理する汎用 OpenGymInterface を設計する。
• GetObservationSpace, GetActionSpace, GetObservation, GetReward, GetGameOver, GetExtraInfo, ExecuteActions などの関数を備えた C++ の ns3-gym インタフェースを実装する。
• 観測と行動のための共通 Gym スペース (Discrete, Box, Tuple, Dict) をサポートする。
• カスタマイズのためのオプションとしてコマンドライン引数を用意し、ns-3 スクリプト内で環境を完全に定義できるようにする。
• 事前定義された RL マッピングのためのカスタム環境（例：TCPNs3Env, DASHNs3Env）を提供する。

実験結果

リサーチクエスチョン

• RQ1 OpenAI Gym を ns-3 に統合して、再利用可能な RL 対応ネットワーキング研究ワークフローを作成するにはどうすべきか。
• RQ2 Gym と ns-3 の間の汎用インタフェースは、ユーザーの労力を最小限に抑えつつ多様なネットワーキング問題をサポートできるか。
• RQ3 カスタム環境とエミュレーション機能は、RLベースのネットワーキング研究の実用性を向上させるか。
• RQ4 共通で構成可能なネットワーキング環境の下で、研究者は RL アプローチを比較できるか。
• RQ5 ns3-gym フレームワークの有用性を示す学習ベースのネットワーキングタスクの例は何か。

主な発見

• ns3-gym は OpenAI Gym と ns-3 の間に通信を行う ZMQ と Protocol Buffers を用いた実用的な橋渡しを提供する。
• 任意の ns-3 スクリプトを ns3-gym C++ インタフェースと OpenGymInterface を実装することで Gym 環境として使用できる。
• TCP および DASH のカスタム環境は、ネットワーキング問題に対する実用的な RL マッピングを示す。
• エミュレーションと実機テスト bed サポートにより、コード変更なしでシミュレーションでの学習と実機での評価が可能になる。
• 例示的な事例（ランダムアクセス制御、コグニティブ無線）は、RL が無線ネットワークで効果的な戦略を学べることを示している。