[論文レビュー] Automatic Curriculum Generation for Learning Adaptation in Networking

Zhengxu Xia, Yajie Zhou+2 more|arXiv (Cornell University)|Feb 12, 2022

Software-Defined Networks and 5G被引用数 5

ひとこと要約

Genetは、現在の強化学習（RL）方策がルールベースのベースラインと著しく劣る環境を優先することで、ネットワーキングにおける深層強化学習（RL）のための訓練カリキュラムを自動的に生成する新規なカリキュラム学習フレームワークである。繰り返し、ギャップの大きい環境を特定し、それらを再訓練することで、適応型動画ストリーミング、コグネッション制御、負荷分散の分野において、最終的なパフォーマンスと一般化性能の両方を向上させ、標準的なRL訓練および従来のベースラインを上回る。

ABSTRACT

As deep reinforcement learning (RL) showcases its strengths in networking and systems, its pitfalls also come to the public's attention--when trained to handle a wide range of network workloads and previously unseen deployment environments, RL policies often manifest suboptimal performance and poor generalizability. To tackle these problems, we present Genet, a new training framework for learning better RL-based network adaptation algorithms. Genet is built on the concept of curriculum learning, which has proved effective against similar issues in other domains where RL is extensively employed. At a high level, curriculum learning gradually presents more difficult environments to the training, rather than choosing them randomly, so that the current RL model can make meaningful progress in training. However, applying curriculum learning in networking is challenging because it remains unknown how to measure the "difficulty" of a network environment. Instead of relying on handcrafted heuristics to determine the environment's difficulty level, our insight is to utilize traditional rule-based (non-RL) baselines: If the current RL model performs significantly worse in a network environment than the baselines, then the model's potential to improve when further trained in this environment is substantial. Therefore, Genet automatically searches for the environments where the current model falls significantly behind a traditional baseline scheme and iteratively promotes these environments as the training progresses. Through evaluating Genet on three use cases--adaptive video streaming, congestion control, and load balancing, we show that Genet produces RL policies which outperform both regularly trained RL policies and traditional baselines in each context, not only under synthetic workloads but also in real environments.

研究の動機と目的

• 多様なまたは狭いネットワーク分布上で訓練されたRLベースのネットワーク適応アルゴリズムの一般化性能の低さと最適でないパフォーマンスを改善すること。
• 難易度が直接測定できないネットワーキング分野において、「報酬性の高い」訓練環境を特定する課題を克服すること。
• 高インパクトな環境の体系的カーリキュラムの構築により、RL訓練の効率性と最終的パフォーマンスを向上させること。
• データ駆動型のカリキュラム生成により、未観測のネットワーク環境におけるより良い一般化を実現すること。
• 既存のルールベースのベースラインをパフォーマンスベンチマークとして活用するスケーラブルで自動化されたフレームワークを提供すること。

提案手法

• Genetは、特定のネットワーク環境における現在のRL方策とルールベースのベースラインとのパフォーマンス差を表す「ベースラインまでのギャップ」指標を定義する。
• 大きなギャップ値を示す環境を自動的に特定し、再訓練のための高潜在力の候補として選別する。
• フレームワークは、これらの高ギャップ環境を繰り返し訓練カリキュラムに組み込み、段階的に訓練の難易度を高める。
• ルールベースのベースラインを最適または近似最適なパフォーマンスの代理として使用し、ギャップが大きい環境は改善の余地が最も大きいと仮定する。
• RL方策の進化するパフォーマンスに基づいてカリキュラムを動的に更新することで、継続的に有益な訓練例に注目する。
• ルールベースのベースラインが存在しない場合のフォールバック戦略をサポートし、真の知識を用いた最適解を使用するか、事前学習済みのRLモデルをベースラインとして扱う。

実験結果

リサーチクエスチョン

• RQ1 自動カリキュラム学習は、RLベースのネットワーク適応アルゴリズムのパフォーマンスと一般化性能を向上させることができるか？
• RQ2 難易度が直接観測できないネットワーキング分野において、「報酬性の高い」訓練環境を自動的に特定する方法は何か？
• RQ3 ルールベースのベースラインとのパフォーマンスギャップが大きい環境を優先することで、ランダムまたはヒューリスティックなカリキュラムスケジューリングに比べ、より効果的なRL訓練が達成できるか？
• RQ4 Genetは、多様なネットワーキングワークロードにおいて、標準的なRL訓練および従来のルールベースのベースラインを上回ることができるか？
• RQ5 特にRLモデルの意思決定の粒度が粗い場合に、ベースラインまでのギャップがカリキュラム信号として持つ限界は何か？

主な発見

• Genetは、適応型動画ストリーミング、コグネッション制御、負荷分散という3つのネットワーキングユースケースにおいて、RL方策の最終的パフォーマンスを顕著に向上させる。
• 適応型動画ストリーミングでは、Genetで訓練された方策が、標準的なRL訓練およびBBA や MPC といった従来のABRアルゴリズムを上回る。
• コグネッション制御では、Genetが生成するカリキュラムにより、カリキュラム学習なしで訓練された方策と比較して、より高いスループットと低い損失を達成する方策が得られる。
• 負荷分散では、Genetはパフォーマンスと一般化性能の両方を向上させ、特に未観測のネットワーク環境において顕著な改善を示す。
• ベースラインまでのギャップ指標は、訓練の潜在的価値を強く示しており、ギャップが大きい環境は再訓練によって一貫して最大のパフォーマンス向上をもたらす。
• RLモデルの意思決定の粒度が粗い（例：モニタインターバルベースの方策）場合でも、Genetはパフォーマンスを向上させるが、細かく調整が必要な状況では向上が限定的である。