[論文レビュー] A Multi-Dimensional Big Data Storing System for Generated COVID-19 Large-Scale Data using Apache Spark

Manar A. Elmeiligy, Ali I. El-Desouky+1 more|arXiv (Cornell University)|Apr 30, 2020

Anomaly Detection Techniques and Applications参考文献 15被引用数 6

ひとこと要約

本論文では、大規模かつリアルタイムのCOVID-19データを効率的に管理およびクエリするため、Apache Spark上で構築された多次元ビッグデータ保存システムであるCSS-COVIDを提案する。データをインデックス付きのサブセットに分割し、分散ノード上でSparkのメモリ内処理を活用することで、クエリおよびストレージ処理時間を短縮し、実世界のデータセットを用いた実験で高い効率性を示している。

ABSTRACT

The ongoing outbreak of coronavirus disease (COVID-19) had burst out in Wuhan China, specifically in December 2019. COVID-19 has caused by a new virus that had not been identified in human previously. This was followed by a widespread and rapid spread of this epidemic throughout the world. Daily, the number of the confirmed cases are increasing rapidly, number of the suspect increases, based on the symptoms that accompany this disease, and unfortunately number of the deaths also increase. Therefore, with these increases in number of cases around the world, it becomes hard to manage all these cases information with different situations; if the patient either injured or suspect with which symptoms that appeared on the patient. Therefore, there is a critical need to construct a multi-dimensional system to store and analyze the generated large-scale data. In this paper, a Comprehensive Storing System for COVID-19 data using Apache Spark (CSS-COVID) is proposed, to handle and manage the problem caused by increasing the number of COVID-19 daily. CSS-COVID helps in decreasing the processing time for querying and storing COVID-19 daily data. CSS-COVID consists of three stages, namely, inserting and indexing, storing, and querying stage. In the inserting stage, data is divided into subsets and then index each subset separately. The storing stage uses set of storing-nodes to store data, while querying stage is responsible for handling the querying processes. Using Apache Spark in CSS-COVID leverages the performance of dealing with large-scale data of the coronavirus disease injured whom increase daily. A set of experiments are applied, using real COVID-19 Datasets, to prove the efficiency of CSS-COVID in indexing large-scale data.

研究の動機と目的

• グローバルな症例、症状、死亡者数から生じる急増する多様なCOVID-19データを管理する課題に対処すること。
• 毎日更新される大規模なCOVID-19データセットのストレージおよびクエリ処理時間を短縮すること。
• 効率的なインデックス作成、ストレージ、および多次元健康データの検索をサポートするスケーラブルで分散型のシステムを設計すること。
• ビッグデータ環境における高性能なデータ処理を実現するため、Apache Sparkのメモリ内計算モデルを活用すること。

提案手法

• システムは、挿入およびインデックス作成段階で、到着したCOVID-19データをサブセットに分割する。
• 各データサブセットには一意のインデックスが割り当てられ、高速な検索と並列処理が可能になる。
• ストレージ段階では、障害耐性を確保するためApache Sparkのレジlient Distributed Datasets (RDDs) を用いて、ストレージノードのクラスタにデータを分散配置する。
• クエリ段階では、インデックス付きデータに対して低レイテンシの分析操作を実行するため、Sparkの分散クエリ実行エンジンが使用される。
• Apache Sparkのメモリ内計算モデルにより、I/Oオーバーヘッドを最小限に抑えることで、データ処理が高速化される。
• システムは、SparkのDAGスケジューラを介して制御される3段階のパイプライン（挿入/インデックス作成、ストレージ、クエリ）として実装される。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、急増する多様なCOVID-19データの即時インジェストおよびクエリを処理できるスケーラブルなビッグデータシステムを設計できるか？
• RQ2 パンデミック期における大規模な健康データ管理において、処理レイテンシを低減するために必要なアーキテクチャ的要素は何か？
• RQ3 Apache Sparkは、リアルタイムで高速度で流入する健康データのインデックス作成およびクエリパフォーマンスをどの程度向上できるか？
• RQ4 提案されたシステムは、大規模で動的変化するデータセットの処理時間において、従来のリレーショナルデータベースに比べてどの程度優れているか？

主な発見

• CSS-COVIDシステムは、Apache Sparkのメモリ内処理機能を活用することで、クエリおよびストレージ処理時間を顕著に短縮している。
• データサブセットを独立してインデックス化することで、効率的な並列処理と高速なデータ取得が可能になる。
• 複数のノードに分散ストレージを実装することで、システムは高いスケーラビリティと障害耐性を示している。
• 実際のCOVID-19データセットを用いた実験的評価により、システムは大規模で動的変化するデータワークロードを効率的に処理できることが確認された。
• 挿入/インデックス作成、ストレージ、クエリの3段階アーキテクチャは、多様で時間的敏感な健康データを管理する上で効果的であることが示された。
• RDDおよびDAG実行モデルの使用により、高いデータインジェストレートでも低レイテンシのパフォーマンスを維持できる。