[论文解读] A Big Data Based Framework for Executing Complex Query Over COVID-19 Datasets (COVID-QF)

Eman A. Khashan, Ali I. El-Desouky+2 more|arXiv (Cornell University)|May 25, 2020

Artificial Intelligence in Healthcare参考文献 21被引用 5

一句话总结

本文提出 COVID-QF，一种结合 SQL 与 NoSQL 数据库的大数据框架，可高效处理异构冠状病毒病（COVID-19）数据集上的复杂查询。该框架利用 Hadoop HDFS/MapReduce 和 Apache Spark，在数据采集、存储和查询处理三个抽象层上实现，显著缩短了数据检索与处理时间，在包括 COVID-19-Merging、Hubei 内部和 Hubei 外部在内的三个真实数据集上表现出优越性能。

ABSTRACT

COVID-19's rapid global spread has driven innovative tools for Big Data Analytics. These have guided organizations in all fields of the health industry to track and minimized the effects of virus. Researchers are required to detect coronaviruses through artificial intelligence, machine learning, and natural language processing, and to gain a complete understanding of the disease. COVID-19 takes place in different countries in the world, with which only big data application and the work of NOSQL databases are suitable. There is a great number of platforms used for processing NOSQL Databases model like: Spark, H2O and Hadoop HDFS/MapReduce, which are proper to control and manage the enormous amount of data. Many challenges faced by large applications programmers, especially those that work on the COVID-19 databases through hybrid data models through different APIs and query. In this context, this paper proposes a storage framework to handle both SQL and NOSQL databases named (COVID-QF) for COVID-19 datasets in order to treat and handle the problems caused by virus spreading worldwide by reducing treatment times. In case of NoSQL database, COVID-QF uses Hadoop HDFS/Map Reduce and Apache Spark. The COVID-QF consists of three Layers: data collection layer, storage layer, and query Processing layer. The data is collected in the data collection layer. The storage layer divides data into collection of data-saving and processing blocks, and it connects the Connector of the spark with different databases engine to reduce time of saving and retrieving. While the Processing layer executes the request query and sends results. The proposed framework used three datasets increased for time for COVID-19 data (COVID-19-Merging, COVID-19-inside-Hubei and COVID-19-ex-Hubei) to test experiments of this study. The results obtained insure the superiority of the COVID-QF framework.

研究动机与目标

• 为解决全球疫情期间产生的海量、异构冠状病毒病（COVID-19）数据集的管理与查询挑战。
• 减少大规模健康数据分析系统中的查询执行与数据检索时间。
• 设计一个统一框架，支持 SQL 与 NoSQL 数据库，以提升数据集成与处理效率。
• 通过可扩展的大数据技术，实现对多种数据模型的复杂、多源查询的高效处理。

提出的方法

• 该框架采用三层架构：数据采集层用于从多个源摄入数据，存储层用于将数据划分为数据块并管理与 Spark 及数据库引擎的连接器，查询处理层用于执行查询并返回结果。
• 使用 Hadoop HDFS/MapReduce 和 Apache Spark 作为核心处理引擎，以处理分布式存储与并行计算。
• 存储层集成多种数据库引擎的连接器，支持在 SQL 与 NoSQL 系统之间高效保存与检索数据。
• 该框架支持混合数据模型，可无缝查询结构化与非结构化数据格式。
• 通过处理三个真实世界数据集（COVID-19-Merging、COVID-19-湖北内、COVID-19-湖北外）来评估性能。
• 通过并行处理与数据分片优化查询执行，降低复杂分析工作负载的延迟。

实验结果

研究问题

• RQ1 如何通过统一框架高效管理并查询来自全球不同来源的复杂、异构冠状病毒病（COVID-19）数据集？
• RQ2 何种架构设计可实现在大规模实时健康数据上低延迟执行复杂查询？
• RQ3 结合 SQL 与 NoSQL 数据库在疫情分析中在多大程度上提升了数据处理性能？
• RQ4 Hadoop 与 Spark 的集成如何增强基于大数据的疾病监测系统中的可扩展性与响应能力？

主要发现

• 与传统系统相比，COVID-QF 框架显著减少了数据检索与处理时间，使对疫情相关查询的响应更加迅速。
• 结合 SQL 与 NoSQL 数据库的混合存储模型提升了异构数据类型之间的数据集成与查询灵活性。
• 使用 Apache Spark 与 Hadoop HDFS/MapReduce 实现了高效的并行处理，增强了大规模数据集的可扩展性。
• 在三个数据集（COVID-19-Merging、Hubei 内部、Hubei 外部）上的性能评估证实了该框架的稳健性与高效性。
• 该框架的模块化架构支持可扩展性与适应性，可应对不断变化的数据源与查询模式。
• 结果表明，该框架在处理复杂、多源查询方面具有显著优势，对实时公共卫生决策至关重要。