[논문 리뷰] Greening Big Data Networks: The Impact of Veracity

Ali M. Al‐Salim, Taisir E. H. El-Gorashi외 2명|arXiv (Cornell University)|2018. 01. 01.

Cloud Computing and Resource Management참고 문헌 24인용 수 1

한 줄 요약

이 논문은 중앙 집중식 데이터센터로 향하는 경로에 위치한 중간 처리 노드(PN)에서 점진적으로 데이터를 처리하고 정제함으로써 에너지 효율성을 향상시키며, 백업 스토리지도 최적화하는 녹색 대용량 데이터 네트워크 아키텍처를 제안한다. 데이터 신뢰성에 기반한 혼합정수선형계획(MILP) 모델을 적용함으로써, 기존의 점진적 처리가 아닌 방법에 비해 네트워크 전력 소비를 최대 52%까지 감소시켰으며, 특히 스토리지 및 처리 제약 조건이 최적일 경우에 뚜렷한 효과를 보였다.

ABSTRACT

The continuous increase in big data applications, in number and types, creates new challenges that should be tackled by the green ICT community. Big data is mainly characterized by 4 Vs volume, variety, velocity, and veracity. Each V poses a number of challenges that have implications on the energy efficiency of the underlying networks carrying the big data. Addressing the veracity of the data is a more serious challenge to data scientists, since they need to distinguish between the meaningful data and the dirty data. In this article, we investigate the impact of big data veracity on greening IP by developing a Mixed Integer Linear Programming, MILP, model that encapsulates the distinctive features of veracity. In our analyses, the big data network was greened by cleansing the raw big data before processing and then progressively processing the cleansed big data at strategic locations, dubbed processing nodes, PNs. The PNs are built into the network along the path from the sources to the centralized datacenters. At each PN, the cleansed data was processed and smaller volume of useful information was extracted progressively, thereby, reducing the network power consumption. Furthermore, a backup for the cleansed data was stored in an optimally selected Backup Node, BN. We evaluated the network power saving that can be achieved by a green big data network compared to the classical non-progressive approach. We obtained up to 52 percent network power savings, on average, in the green big data approach compared to the classical approach.

연구 동기 및 목표

• 원시적이고 처리되지 않은 대용량 데이터를 네트워크를 통해 전송함으로써 발생하는 에너지 비효율성을 해결하기 위해.
• 특히 데이터 품질과 정제 과정을 포함한 데이터 신뢰성의 영향을 고려하여, 대용량 데이터 시스템에서 네트워크 전력 소비에 미치는 영향을 조사하기 위해.
• 전략적 위치에 있는 노드에서 점진적 데이터 처리를 통해 에너지 소비를 최소화하는 녹색 대용량 데이터 네트워크 아키텍처를 설계하기 위해.
• 처리 노드(PN)와 백업 노드(BN)의 배치를 최적화하여 네트워크 전력 소비를 줄이면서도 데이터 무결성과 가용성을 확보하기 위해.
• 다양한 데이터 신뢰성 조건 하에서 PN의 스토리지 용량 제약 조건과 전체 네트워크 에너지 절감 간의 상호 작용을 평가하기 위해.

제안 방법

• IP over WDM 네트워크에서 데이터 처리, 스토리지 및 백업 노드의 배치를 최적화하기 위해 혼합정수선형계획(MILP) 모델을 개발하였다.
• 데이터 소스에서 중앙 데이터센터로 향하는 경로에 제한된 처리 및 스토리지 용량을 가진 처리 노드(PN)를 도입하였다.
• 전송 전에 더러운 데이터를 걸러내기 위해 PN에서 데이터 정제를 적용함으로써 전송되는 데이터 양을 줄였다.
• 신뢰성 향상과 향후 액세스를 위해 정제된 데이터 조각의 복사본을 저장하기 위해 단일 백업 노드(BN)의 선택을 최적화하였다.
• 실제 구현 제약 조건을 반영하기 위해 PN의 스토리지 용량과 처리 부하에 제약 조건을 설정하였다.
• 각 노드에서의 데이터 볼륨, 전송 및 처리 기반으로 네트워크 전력 소비를 모델링하였으며, 기존 방법과 녹색 방법을 비교하였다.

실험 결과

연구 질문

• RQ1 데이터 신뢰성이 대용량 데이터 네트워크의 네트워크 전력 소비에 어떤 영향을 미치는가?
• RQ2 원시 데이터를 직접 데이터센터로 전송하는 대신 중간 PN에서 정제된 데이터를 점진적으로 처리할 경우, 네트워크 전력 절감의 최대치는 얼마인가?
• RQ3 PN의 스토리지 용량 제약 조건이 처리 자원 활용도와 전체 에너지 절감에 어떤 영향을 미치는가?
• RQ4 정제된 데이터에 대해 백업 노드를 포함시키는 것이 네트워크 전력 소비와 에너지 효율성에 어떤 영향을 미치는가?
• RQ5 각 PN당 데이터 조각 수 β의 선택이 처리 부하, 스토리지 사용량 및 네트워크 전력 절감 간의 상호 작용에 어떤 영향을 미치는가?

주요 결과

• 백업이 없는 모드에서 녹색 대용량 데이터 접근 방식이 기존 방법 대비 평균 최대 52%의 네트워크 전력 절감을 달성하였다.
• 백업 노드를 도입한 경우, 네트워크 전력 절감은 최대 41%였으며, 이는 신뢰성과 에너지 효율성 간의 상충 관계를 시사한다.
• PN의 스토리지 용량이 제한된 경우, 백업이 있는 경우 최대 40%의 전력 절감, 백업이 없는 경우 최대 51%의 전력 절감을 기록하였으며, 이는 용량이 충분한 경우의 45% 및 58%에 비해 감소한 것이다.
• 스토리지 제약로 인해 PN을 조기에 우회하게 되었음에도 불구하고, 처리 자원의 여유가 있음에도 불구하고 PN의 처리 활용도는 낮게 유지되어 약 16 GHz 수준이었다.
• 모델 분석 결과, 스토리지 제약 조건이 정제된 데이터 조각의 현지 처리 수를 크게 감소시켜 네트워크 전송과 전력 소비를 증가시킴을 확인하였다.
• 정제된 데이터에 대해 백업 노드를 최적 배치하면 네트워크 전력 소비가 감소하지만, 스토리지 제약이 있는 PN 조건에서는 이 효과가 떨어졌다.