[論文レビュー] SDN Controllers: Benchmarking & Performance Evaluation

Liehuang Zhu, Md Monjurul Karim+4 more|arXiv (Cornell University)|Feb 12, 2019

Software-Defined Networks and 5G参考文献 67被引用数 58

ひとこと要約

本稿では、SDNコントローラーの包括的ベンチマークフレームワークを提示し、3つのツール（CBench、PktBlaster、OFNet）を用いて9つのコントローラーを複数のメトリクスで評価している。複雑な環境では、ONOS や OpenDaylight のようなマルチスレッド型コントローラーがシングルスレッド型よりも優れた性能を示すが、リソースをより多く要する。また、コントローラーの性能はトポロジー、ツールの制限、設定パrameterに強く依存する。

ABSTRACT

Software Defined Networks offer flexible and intelligent network operations by splitting a traditional network into a centralized control plane and a programmable data plane. The intelligent control plane is responsible for providing flow paths to switches and optimizes network performance. The controller in the control plane is the fundamental element used for all operations of data plane management. Hence, the performance and capabilities of the controller itself are extremely important. Furthermore, the tools used to benchmark their performance must be accurate and effective in measuring different evaluation parameters. There are dozens of controller proposals available in existing literature. However, there is no quantitative comparative analysis for them. In this article, we present a comprehensive qualitative comparison of different SDN controllers, along with a quantitative analysis of their performance in different network scenarios. More specifically, we categorize and classify 34 controllers based on their capabilities, and present a qualitative comparison of their properties. We also discuss in-depth capabilities of benchmarking tools used for SDN controllers, along with best practices for quantitative controller evaluation. This work uses three benchmarking tools to compare nine controllers against multiple criteria. Finally, we discuss detailed research findings on the performance, benchmarking criteria, and evaluation testbeds for SDN controllers.

研究の動機と目的

• 既存の文献におけるSDNコントローラー間の標準化された定量的比較の欠如に対処すること。
• アーキテクチャ的特徴、用途に応じて34のSDNコントローラーを分類・分類すること。
• 複数のベンチマークツールとメトリクスを用いて、広く使われている9つのSDNコントローラーの性能を評価すること。
• ツール選定、メトリクス定義、テストベッド設計を含む、コントローラーベンチマークのベストプラクティスを確立すること。
• 実世界の性能特性に基づき、研究者および実務家がコントローラーを選定する上で役立つイン사이트を提供すること。

提案手法

• アーキテクチャ設計、展開モデル、機能セットに基づいて34のSDNコントローラーを分類・分類すること。
• Throughput、レイテンシ、フローメッセージ処理、CPU使用率を評価するための異なる能力を持つ3つのベンチマークツール（CBench、PktBlaster、OFNet）の使用。
• スイッチ数やトラフィックプロファイルの変化を想定した、複数のネットワーク環境下での9つのコントローラーの実験的評価。
• OFNetを用いてカスタムトポロジーやトラフィックパターンを設計し、下位インfra構造の影響を分離してコントローラー性能を評価すること。
• 主要メトリクスの定量的測定：Throughput、Round-trip time（RTT）、CPU使用率、送信/受信フローメッセージ数、フローアセプタンス効率。
• ツールの制限とそれらがベンチマーク結果に与える影響の分析、特にハードウェア制限と設定依存性を含む。

実験結果

リサーチクエスチョン

• RQ1 Throughput、レイテンシ、フローメッセージ処理などのメトリクスにおいて、異なるSDNコントローラーの性能はどのように比較できるか？
• RQ2 既存のSDNコントローラー用ベンチマークツールの主な機能と制限は何か？
• RQ3 コントローラーアーキテクチャ（シングルスレッド対マルチスレッド、集中型対分散型）は、異なるネットワークトポロジーにおける性能にどのように影響するか？
• RQ4 ツール固有の設定やハードウェア制限は、ベンチマーク結果にどの程度影響を及えるか？
• RQ5 実世界のシナリオにおいてSDNコントローラー性能を評価するうえで、最も効果的なメトリクスとベストプラクティスは何か？

主な発見

• ONOS、OpenDaylight、Floodlight のようなマルチスレッド型コントローラーは、NOX、POX、RYU のようなシングルスレッド型コントローラーに比べ、特に高負荷下でThroughputおよびフローメッセージ処理において顕著に優れた性能を示す。
• シングルスレッド型コントローラーは、計算オーバーヘッドが低いため、フローメッセージ受信レートが高くなるが、マルチスレッド型コントローラーは分散処理とインスタンス固有のメッセージ処理により、受信レートが低くなる傾向がある。
• NOX、POX、RYU は、ONOS、ODL、Floodlight よりも送信するフローメッセージ数が少ないため、フローマネージメント戦略やメッセージ生成パターンに差が生じていることが示唆される。
• OFNet を用いることで、カスタムトポロジーとトラフィックプロファイルの定義が可能となり、シングルスレッド型コントローラーは単純化されたトポロジーでは十分な性能を示すが、マルチスレッド型コントローラーは複雑でスケーラブルな環境に適していることが明らかになった。
• ハードウェア制限や固定されたトラフィックプロファイルといったベンチマークツールの制限が、結果に顕著に影響を与え、ツール間の比較が信頼性を欠くことが判明し、標準化された評価フレームワークの必要性が強調された。
• コントローラーのわずか一部しかOpenFlow 1.3以上をサポートしておらず、多くのコントローラーが再現可能な評価が可能な十分な実装詳細を欠いているため、実用的導入や比較分析が制限されている。