[논문 리뷰] A Big Data Based Framework for Executing Complex Query Over COVID-19 Datasets (COVID-QF)

Eman A. Khashan, Ali I. El-Desouky외 2명|arXiv (Cornell University)|2020. 05. 25.

Artificial Intelligence in Healthcare참고 문헌 21인용 수 5

한 줄 요약

이 논문은 코로나19 환자 데이터의 이질적 특성을 고려해 SQL과 NoSQL 데이터베이스를 통합하는 대규모 데이터 프레임워크인 COVID-QF를 제안한다. 이 프레임워크는 세 가지 추상화 계층—데이터 수집, 저장, 쿼리 처리—에서 하둡 HDFS/맵리듀스와 애플리케이션 스파크를 활용하여 복잡한 쿼리 처리를 효율적으로 수행한다. 이로 인해 데이터 검색 및 처리 시간이 감소하였으며, 코로나19-합성, 후이베이 내부, 후이베이 외부 데이터를 포함한 세 가지 실제 데이터셋에서 뛰어난 성능을 입증하였다.

ABSTRACT

COVID-19's rapid global spread has driven innovative tools for Big Data Analytics. These have guided organizations in all fields of the health industry to track and minimized the effects of virus. Researchers are required to detect coronaviruses through artificial intelligence, machine learning, and natural language processing, and to gain a complete understanding of the disease. COVID-19 takes place in different countries in the world, with which only big data application and the work of NOSQL databases are suitable. There is a great number of platforms used for processing NOSQL Databases model like: Spark, H2O and Hadoop HDFS/MapReduce, which are proper to control and manage the enormous amount of data. Many challenges faced by large applications programmers, especially those that work on the COVID-19 databases through hybrid data models through different APIs and query. In this context, this paper proposes a storage framework to handle both SQL and NOSQL databases named (COVID-QF) for COVID-19 datasets in order to treat and handle the problems caused by virus spreading worldwide by reducing treatment times. In case of NoSQL database, COVID-QF uses Hadoop HDFS/Map Reduce and Apache Spark. The COVID-QF consists of three Layers: data collection layer, storage layer, and query Processing layer. The data is collected in the data collection layer. The storage layer divides data into collection of data-saving and processing blocks, and it connects the Connector of the spark with different databases engine to reduce time of saving and retrieving. While the Processing layer executes the request query and sends results. The proposed framework used three datasets increased for time for COVID-19 data (COVID-19-Merging, COVID-19-inside-Hubei and COVID-19-ex-Hubei) to test experiments of this study. The results obtained insure the superiority of the COVID-QF framework.

연구 동기 및 목표

• 팬데믹 기간 동안 전 세계적으로 생성된 대규모 이질적 코로나19 데이터셋을 관리하고 쿼리하는 데 도전하는 데 목적을 두며.
• 대규모 건강 데이터 분석 시스템에서 쿼리 실행 및 데이터 검색 시간을 단축시키는 데 목적을 두며.
• SQL과 NoSQL 데이터베이스를 모두 지원하는 통합 프레임워크를 설계하여 데이터 통합 및 처리 효율성을 향상시키는 데 목적을 두며.
• 확장 가능한 대규모 데이터 기반 기술을 활용해 다양한 데이터 모델 간의 복잡한 다중 소스 쿼리를 효율적으로 처리할 수 있도록 하는 데 목적을 두며.

제안 방법

• 프레임워크는 데이터 수집, 저장, 쿼리 처리의 세 계층 아키텍처를 채택한다. 데이터 수집 계층은 다양한 소스에서 데이터를 수신하며, 저장 계층은 데이터를 블록으로 분할하고 스파크 및 데이터베이스 엔진에 대한 커넥터를 관리한다. 쿼리 처리 계층은 쿼리 실행 및 결과 반환을 담당한다.
• 분산 저장 및 병렬 계산을 처리하기 위해 핵심 처리 엔진으로 하둡 HDFS/맵리듀스와 애플리케이션 스파크를 사용한다.
• 저장 계층은 다양한 데이터베이스 엔진에 대한 커넥터를 통합하여 SQL 및 NoSQL 시스템 간의 효율적인 데이터 저장 및 검색을 가능하게 한다.
• 하이브리드 데이터 모델을 지원하여 구조화된 데이터와 비구조화된 데이터 형식 간의 원활한 쿼리 처리를 가능하게 한다.
• 성능 평가를 위해 코로나19-합성, 코로나19-후이베이 내부, 코로나19-후이베이 외부의 세 가지 실제 데이터셋을 처리한다.
• 병렬 처리 및 데이터 샤딩을 통해 쿼리 실행을 최적화하여 복잡한 분석 워크로드에서 지연 시간을 감소시킨다.

실험 결과

연구 질문

• RQ1 다양한 글로벌 소스에서 유래한 복잡하고 이질적인 코로나19 데이터셋을 효율적으로 관리하고 쿼리할 수 있는 통합 프레임워크는 어떻게 설계할 수 있는가?
• RQ2 대규모 실시간 건강 데이터에서 복잡한 쿼리를 저지연으로 실행할 수 있도록 하는 아키텍처 설계는 무엇인가?
• RQ3 SQL과 NoSQL 데이터베이스를 결합함으로써 팬데믹 분석에서 데이터 처리 성능이 얼마나 향상되는가?
• RQ4 하둡과 스파크의 통합은 대규모 데이터 기반의 질병 감시 시스템에서 확장성과 반응성 향상에 어떻게 기여하는가?

주요 결과

• 전통적인 시스템에 비해 COVID-QF 프레임워크는 데이터 검색 및 처리 시간을 크게 단축시켜 팬데믹 관련 쿼리에 대한 빠른 대응을 가능하게 한다.
• SQL과 NoSQL 데이터베이스를 융합한 하이브리드 스토리지 모델은 다양한 데이터 유형 간의 데이터 통합 및 쿼리 유연성을 향상시킨다.
• Apache 스파크와 하둡 HDFS/맵리듀스의 사용은 효율적인 병렬 처리를 가능하게 하여 대규모 데이터셋에 대한 확장성을 향상시킨다.
• 코로나19-합성, 후이베이 내부, 후이베이 외부의 세 데이터셋에 대한 성능 평가를 통해 프레임워크의 견고성과 효율성을 확인하였다.
• 모듈식 아키텍처 덕분에 변화하는 데이터 소스와 쿼리 패tern에 대한 확장성과 적응성이 보장된다.
• 결과는 실시간 공중보건 의사결정에 필수적인 복잡한 다중 소스 쿼리를 처리하는 데 있어 프레임워크의 우수성을 입증한다.