[論文レビュー] A Taxonomy on Big Data: Survey

Ripon Patgiri|arXiv (Cornell University)|Aug 25, 2018

Big Data Technologies and Applications被引用数 4

ひとこと要約

本論文は、意味的、計算インフラストラクチャ、ストレージシステム、ビッグデータ管理、マイニング、機械学習、セキュリティおよびプライバシーの7つのコア分野に分類する、ビッグデータの包括的な分類法を提唱している。V3+11の特徴、アーキテクチャ（MapReduce、BSP、ストリーミング）、ストレージモデル、セキュリティ課題を体系的に分析し、多様な分野におけるビッグデータ技術とその応用を理解するための構造的フレームワークを提供している。

ABSTRACT

The Big Data is the most popular paradigm nowadays and it has almost no untouched area. For instance, science, engineering, economics, business, social science, and government. The Big Data are used to boost up the organization performance using massive amount of dataset. The Data are assets of the organization, and these data gives revenue to the organizations. Therefore, the Big Data is spawning everywhere to enhance the organizations' revenue. Thus, many new technologies emerging based on Big Data. In this paper, we present the taxonomy of Big Data. Besides, we present in-depth insight on the Big Data paradigm.

研究の動機と目的

• 分野の増大する複雑さと断片化に対処するため、ビッグデータの統一的で多次元的な分類法を確立すること。
• 従来の3Vモデルを越えた、ビッグデータの進化する特徴を分析すること。V3+11モデル（ボリューム、ボリュームティ、バリエーション、バリューティ、バリディティ、バリュー、バーチャル、ビジュアライゼーション、バリエービリティ、ベンディ、ヴァース、コンプレックスィティ）を含む11つのVを統合すること。
• MapReduce、バルク同期並列（BSP）、ストリーミングモデルを含む、ビッグデータインfraストラクチャの主要技術を分類・分析すること。
• ビッグデータシステムにおけるインfraストラクチャ、データ、管理、整合性の次元におけるセキュリティおよびプライバシー課題を調査すること。
• 実世界の応用において、ビッグデータ技術と機械学習・分析の統合を包括的に概説すること。

提案手法

• 7分類の分類法を提唱：意味的、計算インフラストラクチャ、ストレージシステム、ビッグデータ管理、マイニング、機械学習、セキュリティおよびプライバシー。
• ビッグデータを特徴付けるフレームワークとして、V3+11モデル（ボリューム、ボリュームティ、バリエーション、バリューティ、バリディティ、バリュー、バーチャル、ビジュアライゼーション、バリエービリティ、ベンディ、ヴァース、コンプレックスィティ）を分析。
• 計算インフラストラクチャを3つのパラダイムに分類：MapReduce、バルク同期並列（BSP）、ストリーミング処理。
• ストレージシステムを4つのサブコンponentに分類：ストレージアーキテクチャ、実装、構造、デバイス。
• セキュリティおよびプライバシーを4つの次元で検討：インfraストラクチャセキュリティ、データプライバシー、データ管理、データ整合性。
• 機械学習およびデータマイニング技術をビッグデータパイプラインと統合し、同型暗号化や安全なマルチパーティ計算などのプライバシー保護手法に重点を置いている。

実験結果

リサーチクエスチョン

• RQ1 ビッグデータは、そのコア技術的および概念的次元において、どのように体系的に分類可能か？
• RQ2 従来の3Vモデルを超えた拡張された特徴（ボリューム、ボリュームティ、バリエーション、バリューティ、バリディティ、バリュー、バーチャル、ビジュアライゼーション、バリエービリティ、ベンディ、ヴァース、コンプレックスィティ）は、現代のビッグデータを定義づけるものであり、システム設計にどのように影響を与えるか？
• RQ3 MapReduce、BSP、ストリーミングといった異なる計算インfraストラクチャは、スケーラブルなデータ処理をどのように実現するのか？それぞれの強みと限界は何か？
• RQ4 ビッグデータシステムにおける主なセキュリティおよびプライバシー課題は何か？インフラストラクチャ、データ、整合性のレベルでどのように対処できるか？
• RQ5 機械学習やプライバシー保護分析といった新技術は、どのようにビッグデータプラットフォームと統合され、利便性と信頼性を向上させるのか？

主な発見

• V3+11モデルは、従来の3Vモデルに比べ、バリューティ、バリディティ、バリュー、コンプレックスィティといった重要な側面を捉えるより包括的なフレームワークを提供している。
• MapReduceは、障害耐性、コンmodityハードウェア上のスケーラビリティ、並列処理の抽象化の観点から、大規模データ処理の主要なパラダイムのままである。
• ストリーミング処理とBSPモデルは、それぞれリアルタイム処理と反復的処理に不可欠であり、低遅延シナリオにおけるバッチ処理に依存するMapReduceの限界を補完している。
• ビッグデータにおけるセキュリティは多層的であり、インフラストラクチャ、データ、整合性の課題は、アクセス制御、暗号化（例：同型暗号化）、プロバンス追跡などの協調的解決策を必要としている。
• データプロバンスと細粒度の監査は、フォレンジック分析とコンプライアンスにとって不可欠であるが、大規模かつ動的なデータラインレージャンのグラフが原因で複雑性を伴う。
• 安全なマルチパーティ計算や検証可能な計算といったプライバシー保護技術は、機密性を損なわずに機密データ上で分析を可能にするために不可欠である。