[논문 리뷰] Machine Learning Empowered Intelligent Data Center Networking: A Survey

Bo Li, Ting Wang외 4명|arXiv (Cornell University)|2022. 02. 28.

Cloud Computing and Resource Management인용 수 4

한 줄 요약

이 종합 검토는 유연한 데이터 센터 네트워킹을 위한 기계학습(ML)-기반 접근법에 대한 포괄적인 분석을 제안하며, 흐름 예측, 분류, 로드 밸런싱, 자원 관리, 라우팅 및 혼잡 제어를 포함한다. 이 논문은 ML 기반 솔루션을 객관적으로 평가하기 위한 REBEL-3S 프레임워크를 도입하고, 자가 최적화 및 적응형 데이터 센터 네트워크를 달성하기 위한 주요 과제와 향후 연구 방향을 규명한다.

ABSTRACT

To support the needs of ever-growing cloud-based services, the number of servers and network devices in data centers is increasing exponentially, which in turn results in high complexities and difficulties in network optimization. To address these challenges, both academia and industry turn to artificial intelligence technology to realize network intelligence. To this end, a considerable number of novel and creative machine learning-based (ML-based) research works have been put forward in recent few years. Nevertheless, there are still enormous challenges faced by the intelligent optimization of data center networks (DCNs), especially in the scenario of online real-time dynamic processing of massive heterogeneous services and traffic data. To best of our knowledge, there is a lack of systematic and original comprehensively investigations with in-depth analysis on intelligent DCN. To this end, in this paper, we comprehensively investigate the application of machine learning to data center networking, and provide a general overview and in-depth analysis of the recent works, covering flow prediction, flow classification, load balancing, resource management, routing optimization, and congestion control. In order to provide a multi-dimensional and multi-perspective comparison of various solutions, we design a quality assessment criteria called REBEL-3S to impartially measure the strengths and weaknesses of these research works. Moreover, we also present unique insights into the technology evolution of the fusion of data center network and machine learning, together with some challenges and potential future research opportunities.

연구 동기 및 목표

• 기하급수적인 확장과 이질적인 트래픽 수요로 인해 현대 데이터 센터 네트워크(DCN)의 복잡성과 동적 특성이 증가하고 있음을 고려하여 대응한다.
• 흐름 예측, 분류, 로드 밸런싱, 자원 관리, 라우팅 및 혼잡 제어와 같은 핵심 분야에서 최근의 ML 기반 연구를 체계적으로 검토하고 분석한다.
• 기존의 ML 기반 DCN 솔루션의 강점과 약점을 객관적으로 평가하기 위해 새로운 다차원 평가 프레임워크인 REBEL-3S를 제안한다.
• 특히 실시간, 동적, 보안적인 네트워크 지능을 통합하는 데 있어, ML과 DCN을 융합하는 데 있어 열려 있는 과제들과 향후 연구 기회를 규명한다.

제안 방법

• 흐름 예측, 흐름 분류, 로드 밸런싱, 자원 관리, 라우팅 최적화 및 혼잡 제어와 같은 여섯 가지 핵심 적용 영역에 중점을 두고 최근의 ML 기반 데이터 센터 네트워킹 연구를 종합적으로 조사한다.
• 표준화되고 객관적인 평가를 제공하기 위해, 관련성, 효율성, 회피 가능성, 평가, 학습, 확장성의 여섯 가지 요소로 구성된 REBEL-3S 품질 평가 프레임워크를 설계한다.
• 데이터 수집 전략(트래픽 오버헤드, 계산 비용, 개인정보 위험 포함)이 DCN 내 ML 모델의 효과성에 미치는 영향을 분석한다.
• 이론적·실제로 이질적이고 실시간, 급격한 트래픽 변화를 처리하는 데 어려움을 겪는 기존 통신 프로토콜의 한계를 검토하고, ML 기반의 적응형 프로토콜의 필요성을 강조한다.
• 라우팅의 투명성 부족, 종단 간 파이프라인의 투명성 부족, QoS 투명성 부족 등의 네트워크 시각화 과제를 분석하고, 장애 진단 및 O&M 효율성을 향상시키기 위한 ML 기반 솔루션을 제안한다.
• AI 통합의 진화 과정을 종합적으로 분석하고, 지능형 프로토콜 설계 및 보안적이고 확장 가능한 구현과 같은 아직 탐색되지 않은 연구 방향을 규명한다.

실험 결과

연구 질문

• RQ1 기계학습은 현대 데이터 센터 네트워크에서 동적이고 이질적이며 고용량의 트래픽 문제를 어떻게 효과적으로 해결할 수 있는가?
• RQ2 다양한 적용 분야에서 기존의 ML 기반 솔루션들이 DCN 최적화에 있어 성능 및 설계 상의 상호 보완적 특성은 무엇인가?
• RQ3 현재의 ML 기반 DCN 솔루션은 실제 운영 환경에서 실시간 적응성, 확장성 및 운영 효율성을 어느 정도 달성하고 있는가?
• RQ4 다양한 ML 기반 DCN 접근법을 공정하게 비교하기 위해 표준화되고 다차원적인 평가 프레임워크를 어떻게 설계할 수 있는가?
• RQ5 진정으로 지능적이고 자가 최적화되는 데이터 센터 네트워크를 구축하기 위한 주요 열려 있는 과제들과 유망한 향후 연구 방향은 무엇인가?

주요 결과

• REBEL-3S 프레임워크는 관련성, 효율성, 회피 가능성, 평가, 학습, 확장성의 여섯 가지 핵심 차원에서 ML 기반 DCN 솔루션을 체계적이고 객관적이며 다각도로 평가할 수 있는 메커니즘을 제공한다.
• 상당한 진전에도 불구하고, 현재의 ML 기반 DCN 솔루션은 실시간 처리, 데이터 수집 오버헤드, 특히 동적이고 이질적인 서비스 환경에서의 보안 문제에 여전히 도전에 직면해 있다.
• 네트워크 시각화는 현재 O&M 관행에서 중요한 격차로 남아 있으며, 라우팅의 투명성 부족과 종단 간 파이프라인의 투명성 부족이 장애 진단 및 성능 모니터링을 심각하게 방해하고 있다.
• 기존의 통신 프로토콜은 레거시 시스템과의 호환성 및 마이크로 버스트에 대한 적응성 측면에서 현대 DCN의 요구를 충족하지 못하고 있어, ML 기반의 프로토콜 설계가 필요하다는 점을 시사한다.
• AI의 데이터 센터 네트워크 통합은 여전히 초보 단계에 있으며, 특히 지능형 혼잡 제어 및 적응형 라우팅 분야에서 실용적 구현의 성숙도가 낮은 편이다.
• 향후 연구는 자율적이고 의도 기반이며 자가 치유 기능을 갖춘 데이터 센터 네트워크를 가능하게 하는 보안성과 확장성, 저오버헤드의 ML 모델 개발에 집중해야 한다.