[논문 리뷰] A Multi-Dimensional Big Data Storing System for Generated COVID-19 Large-Scale Data using Apache Spark

Manar A. Elmeiligy, Ali I. El-Desouky외 1명|arXiv (Cornell University)|2020. 04. 30.

Anomaly Detection Techniques and Applications참고 문헌 15인용 수 6

한 줄 요약

이 논문은 대규모 실시간 코로나19 데이터를 효율적으로 관리하고 쿼리하기 위해 Apache Spark 기반으로 구축된 다차원 빅데이터 저장 시스템인 CSS-COVID를 제안한다. 데이터를 인덱싱된 부분집합으로 나누고 분산 노드 간 Spark의 메모리 기반 처리 기능을 활용하여 쿼리 및 저장 처리 시간을 단축시켜 실제 데이터셋을 사용한 실험에서 높은 효율성을 입증한다.

ABSTRACT

The ongoing outbreak of coronavirus disease (COVID-19) had burst out in Wuhan China, specifically in December 2019. COVID-19 has caused by a new virus that had not been identified in human previously. This was followed by a widespread and rapid spread of this epidemic throughout the world. Daily, the number of the confirmed cases are increasing rapidly, number of the suspect increases, based on the symptoms that accompany this disease, and unfortunately number of the deaths also increase. Therefore, with these increases in number of cases around the world, it becomes hard to manage all these cases information with different situations; if the patient either injured or suspect with which symptoms that appeared on the patient. Therefore, there is a critical need to construct a multi-dimensional system to store and analyze the generated large-scale data. In this paper, a Comprehensive Storing System for COVID-19 data using Apache Spark (CSS-COVID) is proposed, to handle and manage the problem caused by increasing the number of COVID-19 daily. CSS-COVID helps in decreasing the processing time for querying and storing COVID-19 daily data. CSS-COVID consists of three stages, namely, inserting and indexing, storing, and querying stage. In the inserting stage, data is divided into subsets and then index each subset separately. The storing stage uses set of storing-nodes to store data, while querying stage is responsible for handling the querying processes. Using Apache Spark in CSS-COVID leverages the performance of dealing with large-scale data of the coronavirus disease injured whom increase daily. A set of experiments are applied, using real COVID-19 Datasets, to prove the efficiency of CSS-COVID in indexing large-scale data.

연구 동기 및 목표

• 글로벌 케이스, 증상, 사망자 수 등 빠르게 증가하는 이질적인 코로나19 데이터를 관리하는 데 도전하는 것.
• 매일 업데이트되는 대규모 코로나19 데이터셋의 저장 및 쿼리 처리 시간을 단축하는 것.
• 다차원 건강 데이터의 효율적 인덱싱, 저장 및 검색을 지원하는 확장 가능하고 분산된 시스템을 설계하는 것.
• 빅데이터 환경에서 고성능 데이터 처리를 위해 Apache Spark의 메모리 기반 계산 기능을 활용하는 것.

제안 방법

• 시스템은 삽입 및 인덱싱 단계에서 들어오는 코로나19 데이터를 부분집합으로 분할한다.
• 각 데이터 부분집합은 고유한 인덱스가 할당되어 신속한 검색과 병렬 처리를 가능하게 한다.
• 저장 단계에서는 Apache Spark의 내구성 있는 분산 데이터셋(RDD)을 사용하여 클러스터의 스토리지 노드에 데이터를 분산 배포한다.
• 쿼리 단계에서는 인덱싱된 데이터를 대상으로 저지연 분석 작업을 수행하기 위해 Spark의 분산 쿼리 실행 엔진을 사용한다.
• Apache Spark의 메모리 기반 계산 모델은 I/O 오버헤드를 최소화하여 데이터 처리 속도를 가속화한다.
• 시스템은 삽입/인덱싱, 저장, 쿼리의 세 단계로 구성된 파이프라인으로 구현되었으며, Spark의 DAG 스케줄러를 통해 조율된다.

실험 결과

연구 질문

• RQ1 빠르게 유입되고 쿼리되는 다차원 코로나19 데이터를 처리할 수 있는 확장 가능한 빅데이터 시스템을 어떻게 설계할 수 있는가?
• RQ2 대규모 건강 데이터 관리에서 패닉 상황 동안 처리 지연을 줄이기 위해 필요한 아키텍처 구성 요소는 무엇인가?
• RQ3 Apache Spark는 실시간 고속도의 건강 데이터에 대해 인덱싱 및 쿼리 성능을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 시스템은 대규모 동적 데이터셋에 대해 전통적인 관계형 데이터베이스에 비해 처리 시간 측면에서 얼마나 뛰어난가?

주요 결과

• CSS-COVID 시스템은 Apache Spark의 메모리 기반 처리 기능을 활용하여 쿼리 및 저장 처리 시간을 크게 단축시킨다.
• 데이터 부분집합을 별도로 인덱싱하는 방식은 효율적인 병렬 처리와 더 빠른 데이터 검색을 가능하게 한다.
• 다중 노드에 걸친 분산 저장을 통해 시스템은 높은 확장성과 장애 내성 확보를 이룬다.
• 실제 코로나19 데이터셋을 활용한 실험 평가를 통해 시스템은 대규모 동적 데이터 워크로드를 효율적으로 처리할 수 있음을 입증한다.
• 삽입/인덱싱, 저장, 쿼리의 세 단계 아키텍처는 이질적이고 시간 민감도가 높은 건강 데이터를 효과적으로 관리하는 데 성공적임을 입증한다.
• RDD와 DAG 실행 모델의 사용은 고속 데이터 유입 상황에서도 저지연 성능을 보장한다.