[論文レビュー] Machine Learning Empowered Intelligent Data Center Networking: A Survey

Bo Li, Ting Wang+4 more|arXiv (Cornell University)|Feb 28, 2022

Cloud Computing and Resource Management被引用数 4

ひとこと要約

本サーベイは、フローピドクション、分類、負荷分散、リソース管理、ルーティング、および混雑制御をカバーする、機械学習（ML）駆動のインテリジェントなデータセンターネットワーキングの包括的分析を提案する。REBEL-3Sフレームワークを導入し、MLベースのソリューションを客観的に評価し、自己最適化で柔軟なデータセンターネットワークを実現するにあたり、主な課題と今後の研究方向性を特定する。

ABSTRACT

To support the needs of ever-growing cloud-based services, the number of servers and network devices in data centers is increasing exponentially, which in turn results in high complexities and difficulties in network optimization. To address these challenges, both academia and industry turn to artificial intelligence technology to realize network intelligence. To this end, a considerable number of novel and creative machine learning-based (ML-based) research works have been put forward in recent few years. Nevertheless, there are still enormous challenges faced by the intelligent optimization of data center networks (DCNs), especially in the scenario of online real-time dynamic processing of massive heterogeneous services and traffic data. To best of our knowledge, there is a lack of systematic and original comprehensively investigations with in-depth analysis on intelligent DCN. To this end, in this paper, we comprehensively investigate the application of machine learning to data center networking, and provide a general overview and in-depth analysis of the recent works, covering flow prediction, flow classification, load balancing, resource management, routing optimization, and congestion control. In order to provide a multi-dimensional and multi-perspective comparison of various solutions, we design a quality assessment criteria called REBEL-3S to impartially measure the strengths and weaknesses of these research works. Moreover, we also present unique insights into the technology evolution of the fusion of data center network and machine learning, together with some challenges and potential future research opportunities.

研究の動機と目的

• 指数的なスケーリングと多様なトラフィック需要に起因する、現代のデータセンターネットワーク（DCNs）の複雑化と動的特性に対応する。
• フローピドクション、分類、負荷分散、リソース管理、ルーティング、混雑制御を含む、主な分野における最近のMLベースの研究を体系的にサーベイおよび分析する。
• 既存のMLベースのDCNソリューションの強みと弱みを客観的に評価するための新規で多次元の評価フレームワーク—REBEL-3Sを提案する。
• 特にリアルタイム、動的、セキュアなネットワークインテリジェンスを実現するにあたり、MLとDCNsを統合するうえでの未解決の課題と今後の研究機会を特定する。

提案手法

• フローピドクション、フローカテゴリズーション、負荷分散、リソース管理、ルーティング最適化、混雑制御の6つのコア分野に焦点を当て、最近のMLベースのデータセンターネットワーキング研究を包括的にサーベイする。
• REBEL-3S品質評価フレームワーク（Relevance, Efficiency, Bypassing, Evaluation, Learning, Scalabilityの6要因から構成）を設計し、MLベースのDCNソリューションに対する標準的かつ中立的な評価を可能にする。
• トラフィックオーバーヘッド、計算コスト、プライバシーリスクを含むデータ収集戦略の影響が、DCNにおけるMLモデルの有効性に与える影響を分析する。
• 現在の通信プロトコルが、多様でリアルタイム性が求められる、バースト性のあるワークロードに対応できない限界を検証し、ML強化型で柔軟なプロトコルの必要性を強調する。
• ルーティングの見えにくさ、エンドツーエンドパイプラインの不透明性、QoSの不透明性といったネットワーク可視化の課題を調査し、故障診断とO&M効率を向上させるMLベースのソリューションを提案する。
• AI統合の進化に関する知見を統合し、インテリジェントプロトコル設計やセキュアでスケーラブルな展開といった、未だ十分に掘り下げられていない研究分野を特定する。

実験結果

リサーチクエスチョン

• RQ1 機械学習は、現代のデータセンターネットワークにおける動的で多様かつ高容量のトラフィック課題をどのように効果的に解決できるか？
• RQ2 異なるアプリケーション分野において、既存のMLベースのDCN最適化ソリューションにおける主なパフォーマンスと設計上のトレードオフは何か？
• RQ3 現在のMLベースのDCNソリューションは、生産環境においてどれほどリアルタイム対応性、スケーラビリティ、運用効率を達成しているか？
• RQ4 多様なMLベースのDCN手法を公平に比較できる、標準的で多次元の評価フレームワークをどのように設計できるか？
• RQ5 真に知能的で自己最適化可能なデータセンターネットワークを構築するにあたり、主な未解決の課題と有望な今後の研究方向性は何か？

主な発見

• REBEL-3Sフレームワークは、Relevance, Efficiency, Bypassing, Evaluation, Learning, Scalabilityの6つの重要な次元をカバーする、体系的で中立的かつ多次元の評価メカニズムを提供し、MLベースのDCNソリューションの評価を可能にする。
• 顕著な進展にもかかわらず、現在のMLベースのDCNソリューションは、リアルタイム処理、データ収集のオーバーヘッド、特に動的で多様なサービス環境におけるセキュリティ面で課題を抱え続けている。
• ネットワーク可視化は、現在のO&M実務における重要なギャップであり、ルーティングの見えにくさやエンドツーエンドパイプラインの不透明性が、障害診断とパフォーマンス監視を著しく妨げている。
• 既存の通信プロトコルは、レガシーシステムとの互換性やマイクロバーストへの適応性において、現代のDCNsの要件を満たせておらず、ML強化型プロトコル設計の必要性が浮き彫りになっている。
• AIのデータセンターネットワークへの統合はまだ初期段階にあり、特にインテリジェントな混雑制御や適応型ルーティングといった分野において、実用的展開の成熟度は限定的である。
• 今後の研究は、自律的で意図駆動型、自己修復型のデータセンターネットワークを実現できる、セキュアでスケーラブルかつ低オーバーヘッドなMLモデルの開発に注力すべきである。