[論文レビュー] A Machine Learning Approach to Routing

Asaf Valadarsky, Michael Schapira+2 more|arXiv (Cornell University)|Aug 10, 2017

Software-Defined Networks and 5G参考文献 28被引用数 19

ひとこと要約

本稿では、深層強化学習を用いて、トラフィック履歴から自動的に高性能なルーティング設定を生成する機械学習的手法を、ドメイン内トラフィックエンジニアリングに提案する。学習によりトラフィック履歴からルーティングルールへの直接的なマッピングを学習することで、従来の手法や教師あり需要予測を上回り、合成されたトラフィックパターンにおいて近似的に最適な混雑度性能を達成することを示している。

ABSTRACT

Can ideas and techniques from machine learning be leveraged to automatically generate "good" routing configurations? We investigate the power of data-driven routing protocols. Our results suggest that applying ideas and techniques from deep reinforcement learning to this context yields high performance, motivating further research along these lines.

研究の動機と目的

• 機械学習がドメイン内トラフィックエンジニアリングにおける従来の専門家設計ルーティングプロトコルに置き換え可能かどうかを調査すること。
• 特に高次元の出力空間において、ルーティングを機械学習問題として定式化する課題に取り組むこと。
• まず将来のトラフィック需要を予測するのではなく、トラフィック履歴から直接ルーティング設定を学習する方法が、性能に優れているかどうかを評価すること。
• 性能と複雑さのバランスを取るのに適した、スケーラブルで表現力のあるルーティングポリシー表現を開発すること。
• ネットワーキング分野におけるデータ駆動型ルーティングに関する広範な研究アジェンダの基盤を築くこと。

提案手法

• トラフィック履歴からルーティング設定へのマッピングを学習するポリシーを学習する強化学習問題として、ドメイン内トラフィックエンジニアリングを定式化する。
• 合成されたトラフィック需要シーケンス上で、信頼領域ポリシー最適化（TRPO）を用いた深層強化学習によりエージェントを訓練する。
• 複数のネクストホップにトラフィックを分散させるソフトミンベースのルーティング表現を採用し、表現力は保ちつつ効率的なポリシー学習を可能にする。
• ベースラインルーティング方式（無知ルーティング、最小最大最適化ルーティング、ソフトミンルーティング）と学習済みポリシーを比較する。
• 重力則およびバイモーダル分布を含む、合成されたトラフィック需要シーケンス上でポリシーを訓練および評価する。
• 混雑度性能を評価する主な指標として、最大リンク利用度を用いる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、明示的なトラフィック需要予測を回避して、トラフィック履歴から直接的にルーティング設定を学習するのに効果的か？
• RQ2 MLガイドドルーティングの性能は、無知ルーティングや最小最大最適化ルーティングといった従来の手作業で設計されたルーティング方式と比べてどうか？
• RQ3 高次元でルールベースの出力空間を持つことから、ルーティングに強化学習を適用するにあたり、主な課題は何か？
• RQ4 ソフトミンルーティングのような制約付き出力表現は、表現力は保ちつつ、効果的な学習を可能にするか？
• RQ5 どのようなトラフィック条件下で、データ駆動型ルーティングが従来のアプローチを顕著に上回るのか？

主な発見

• 深層強化学習により、多様なトラフィックパターンにおいて最大リンク利用度を最小化するという観点で、近似的に最適な性能を達成するルーティングポリシーを効果的に学習できた。
• 強化学習で学習されたソフトミンルーティングは、バイモーダルトラフィック需要シーケンスにおいて、無知ルーティングおよび最小最大最適化ルーティングの両方を上回った。
• 重力則に基づくトラフィックパターンでは、ソフトミンルーティングは無知ルーティングとほぼ同等の性能を示し、強力な一般化可能性を示唆している。
• トラフィックパターンの規則性が低いため、トラフィック需要予測のための教師あり学習は、本研究の文脈では効果がなかった。
• ソフトミンルーティング表現の使用により、ルーティングルールセットの高次元性にもかかわらず、効果的なポリシー学習が可能になった。
• 強化学習ベースのルーティングは、安定性と適応性のバランスに有望であるが、スケーラビリティおよび実世界での評価は、未解決の課題のまま残っている。