[논문 리뷰] SDN Controllers: Benchmarking & Performance Evaluation

Liehuang Zhu, Md Monjurul Karim외 4명|arXiv (Cornell University)|2019. 02. 12.

Software-Defined Networks and 5G참고 문헌 67인용 수 58

한 줄 요약

이 논문은 SDN 컨트롤러를 위한 종합적인 벤치마킹 프레임워크를 제시하며, CBench, PktBlaster, OFNet 세 가지 도구를 사용해 다수의 메트릭을 기반으로 9개의 컨트롤러를 평가한다. 복잡한 환경에서는 멀티스레드 컨트롤러인 ONOS와 OpenDaylight가 단일스레드 컨트롤러보다 성능이 뛰어나지만, 더 많은 자원을 요구하며, 컨트롤러 성능은 토폴로지, 도구의 한계, 설정 파rameter에 매우 의존적임을 발견함.

ABSTRACT

Software Defined Networks offer flexible and intelligent network operations by splitting a traditional network into a centralized control plane and a programmable data plane. The intelligent control plane is responsible for providing flow paths to switches and optimizes network performance. The controller in the control plane is the fundamental element used for all operations of data plane management. Hence, the performance and capabilities of the controller itself are extremely important. Furthermore, the tools used to benchmark their performance must be accurate and effective in measuring different evaluation parameters. There are dozens of controller proposals available in existing literature. However, there is no quantitative comparative analysis for them. In this article, we present a comprehensive qualitative comparison of different SDN controllers, along with a quantitative analysis of their performance in different network scenarios. More specifically, we categorize and classify 34 controllers based on their capabilities, and present a qualitative comparison of their properties. We also discuss in-depth capabilities of benchmarking tools used for SDN controllers, along with best practices for quantitative controller evaluation. This work uses three benchmarking tools to compare nine controllers against multiple criteria. Finally, we discuss detailed research findings on the performance, benchmarking criteria, and evaluation testbeds for SDN controllers.

연구 동기 및 목표

• 기존 문헌에서 SDN 컨트롤러 간 표준화되고 정량적인 비교가 부족한 문제를 해결하기 위해.
• 기능 및 사용 사례 기반으로 34개의 SDN 컨트롤러를 식별하고 분류하기 위해.
• 여러 벤치마킹 도구와 메트릭을 사용해 널리 사용되는 아홉 개의 SDN 컨트롤러의 성능을 평가하기 위해.
• 도구 선택, 메트릭 정의, 실험 환경 설계 등을 포함한 컨트롤러 벤치마킹의 최적 실천 방안을 수립하기 위해.
• 실제 성능 특성에 기반한 연구자 및 실무자 대상의 실질적인 통찰을 제공하기 위해.

제안 방법

• 아키텍처 설계, 배포 모델, 기능 세트 기반으로 34개의 SDN 컨트롤러를 분류 및 분류하기 위해.
• 통과율, 지연, 플로우 메시지 처리, CPU 활용도 평가에 각각 다른 능력을 지닌 세 가지 벤치마킹 도구—CBench, PktBlaster, OFNet—의 사용.
• 스위치 수와 트래픽 프로파일의 다양성에 따라 변화하는 네트워크 조건에서 아홉 개의 컨트롤러에 대한 실험적 평가.
• OFNet를 사용해 컨트롤러 성능을 기반 인프라의 영향에서 분리하기 위해 커스텀 토폴로지와 트래픽 패턴 설계.
• 주요 메트릭의 정량적 측정: 통과율, 라운드트립 타임(RTT), CPU 활용도, 플로우 메시지 송수신 수, 플로우 수락 효율성.
• 도구 한계 및 그들이 벤치마킹 결과에 미치는 영향 분석, 하드웨어 제약 및 설정 의존성 포함.

실험 결과

연구 질문

• RQ1 통과율, 지연, 플로우 메시지 처리 등의 메트릭 기반으로 다양한 SDN 컨트롤러의 성능은 어떻게 비교되는가?
• RQ2 기존의 SDN 컨트롤러 벤치마킹 도구의 핵심 기능과 한계는 무엇인가?
• RQ3 컨트롤러 아키텍처(단일스레드 대비 멀티스레드, 중심집중형 대비 분산형)가 다양한 네트워크 토폴로지에서 성능에 미치는 영향은 무엇인가?
• RQ4 도구별 설정 및 하드웨어 제약이 벤치마킹 결과에 어느 정도의 영향을 미치는가?
• RQ5 실제 시나리오에서 SDN 컨트롤러 성능을 평가하기 위해 가장 효과적인 메트릭과 최적 실천 방안은 무엇인가?

주요 결과

• ONOS, OpenDaylight, Floodlight와 같은 멀티스레드 컨트롤러는 NOX, POX, RYU와 같은 단일스레드 컨트롤러보다 고부하 상황에서 통과율과 플로우 메시지 처리 측면에서 뚜렷한 성능 우위를 보임.
• 단일스레드 컨트롤러는 낮은 계산 오버헤드로 인해 플로우 수신률이 높은 반면, 멀티스레드 컨트롤러는 분산 처리 및 인스턴스 기반 메시지 처리로 인해 수신률이 낮음.
• NOX, POX, RYU는 ONOS, ODL, Floodlight보다 더 적은 수의 플로우 메시지를 컨트롤러로 전송함으로써 플로우 관리 전략과 메시지 생성 패턴의 차이를 보여줌.
• OFNet는 커스텀 토폴로지와 트래픽 프로파일 정의를 가능하게 하여, 단일스레드 컨트롤러는 단순화된 토폴로지에서는 충분한 성능을 발휘할 수 있음을 드러내지만, 멀티스레드 컨트롤러는 더 복잡하고 확장 가능한 환경에 더 적합함을 확인함.
• 벤치마킹 도구의 한계—예를 들어 하드웨어 제약과 고정된 트래픽 프로파일—은 결과에 상당한 영향을 미치며, 이는 도구 간 비교의 신뢰성을 떨어뜨리고 표준화된 평가 프레임워크의 필요성을 강조함.
• 실제로 OpenFlow 1.3 이상을 지원하는 컨트롤러의 비율은 매우 낮으며, 많은 컨트롤러가 재현 가능한 평가를 위해 충분한 구현 세부 정보를 제공하지 않아 실용적 구현과 비교 분석에 제약이 있음.