[논문 리뷰] A survey of sketches in traffic measurement: Design, Optimization, Application and Implementation

Shangsen Li, Lailong Luo외 3명|arXiv (Cornell University)|2020. 12. 14.

Network Security and Intrusion Detection참고 문헌 226인용 수 10

한 줄 요약

이 논문은 스케치 기반 네트워크 측정의 첫 번째 종합적 설문 조사로, 데이터 처리 전 과정에 걸쳐 설계, 최적화, 응용 및 구현을 포함한다. 90개 이상의 스케치 변종을 분석하고, 정량적 및 정성적으로 비교하며, SDN, 5G 및 이중 스택 IPv6 환경과 같은 현대 네트워크에서의 열린 연구 과제를 규명한다.

ABSTRACT

Network measurement probes the underlying network to support upper-level decisions such as network management, network update, network maintenance, network defense and beyond. Due to the massive, speedy, unpredictable features of network flows, sketches are widely implemented in measurement nodes to approximately record the frequency or estimate the cardinality of flows. At their cores, sketches usually maintain one or multiple counter array(s), and rely on hash functions to select the counter(s) for each flow. Then the space-efficient sketches from the distributed measurement nodes are aggregated to provide statistics of the undergoing flows. Currently, tremendous redesigns and optimizations have been proposed to improve the sketches for better network measurement performance. However, existing reviews or surveys mainly focus on one particular aspect of measurement tasks. Researchers and engineers in the network measurement community desire an all-in-one survey that covers the entire processing pipeline of sketch-based network measurement. To this end, we present the first comprehensive survey of this area. We first introduce the preparation of flows for measurement, then detail the most recent investigations of design, aggregation, decoding, application and implementation of sketches for network measurement. To summarize the existing efforts, we carry out an in-depth study of the existing literature, covering more than 90 sketch designs and optimization strategies. Furthermore, we conduct a comprehensive analysis and qualitative/quantitative comparison of the sketch designs. Finally,we highlight the open issues for future sketch-based network measurement research.

연구 동기 및 목표

• 스케치 기반 네트워크 측정의 전체 파이프라인을 다루는 통합적이고 최신의 설문 조사가 부족한 문제를 해결하기 위해.
• 최근 몇 년 간 제안된 90개 이상의 스케치 설계 및 최적화 전략에 대한 체계적인 리뷰를 제공하기 위해.
• 다양한 측정 작업을 위해 시간 및 볼륨 차원에서 스케치 기반 방법을 종합적으로 비교하기 위해.
• SDN, 5G 및 이중 스택 IPv4/IPv6 환경과 같은 차세대 네트워크에서 스케치 기반 측정의 열린 문제점과 향후 연구 방향을 규명하기 위해.
• 이론적 스케치 설계와 하드웨어, 소프트웨어 및 SDN 환경에서의 실질적 구현 간 격차를 메우기 위해.

제안 방법

• 스케치 기반 네트워크 측정을 세 가지 차원의 파이프라인으로 분류: 측정을 위한 준비, 스케치 데이터 구조 설계 및 최적화, 정보 추출을 위한 후처리.
• 해싱 전략, 카운터 수준 최적화, 스케치 수준 향상 기반으로 스케치 변종을 검토하고 분류.
• 후처리 단계에서 스케치 압축, 병합, 데이터 보강 및 쿼리 기법을 분석.
• 흐름의 기수, 크기, 볼륨 및 이상 탐지와 같은 13개의 측정 작업을 기반으로 스케치 방법의 정성적 및 정량적 비교 수행.
• 하드웨어 및 소프트웨어 구현 평가를 포함하여 프로그래밍 가능한 스위치와 SDN 환경을 검토.
• 해시 함수 학습 및 추정 정확도 향상에 기여하는 머신 러닝 통합의 새로운 기회 탐색.

실험 결과

연구 질문

• RQ1 현대 네트워크 측정에서 스케치 데이터 구조의 핵심 설계 및 최적화 전략은 무엇인가?
• RQ2 다양한 측정 작업에서 정확도, 시간, 공간 효율성 측면에서 서로 다른 스케치 변종은 어떻게 비교될 수 있는가?
• RQ3 SDN, 5G 및 이중 스택 IPv4/IPv6 네트워크에 스케치를 구현할 때 주요 과제와 기회는 무엇인가?
• RQ4 머신 러닝은 해시 충돌을 줄이고 추정 정확도를 향상시키는 데 어떻게 스케치 기반 측정을 향상시킬 수 있는가?
• RQ5 차세대 통신 시스템에서 스케치 기반 네트워크 측정의 열린 연구 과제와 향후 연구 방향은 무엇인가?

주요 결과

• 이 설문 조사는 90개 이상의 스케치 변종과 13개의 측정 작업을 포함하여 이전 설문 조사가 20개 미만의 변종과 제한된 작업에 집중했던 것에 비해 크게 확장되었다.
• 스케치 기반 측정은 특히 거대하고 예측 불가능한 트래픽이 있는 환경에서 고속이고 공간 효율적인 네트워크 모니터링을 위해 여전히 필수적이다.
• 카운터 수준 및 스케치 수준 최적화는 정확도 향상과 공간 사용 감소에 크게 기여하며, 일부 설계는 메모리와 오차율 사이의 거의 최적의 트레이드오프를 달성한다.
• 스케치 병합 및 압축과 같은 후처리 기법은 다수의 네트워크 노드에 걸쳐 확장 가능한 분산 측정을 위해 필수적이다.
• SDN 및 프로그래밍 가능한 스위치와의 통합은 세밀하고 저비용의 측정을 가능하게 하지만, 전달 및 측정 기능 간 자원 공유를 신중히 고려해야 한다.
• 머신 러닝은 전통적인 해시 함수를 대체하여 충돌을 줄이고 추정 정확도를 향상시키는 데 잠재력이 있으며, 특히 이상 탐지 및 주파수 추정 작업에서 유용하다.