[論文レビュー] Big Data: Understanding Big Data

Kevin Taylor-Sakyi|arXiv (Cornell University)|Jan 15, 2016

Cloud Computing and Resource Management参考文献 11被引用数 8

ひとこと要約

この論文は、ビッグデータの基盤的コンセプト、データ保存の課題、大規模データセットを処理するためのMapReduceプログラミングモデルに焦点を当て、ビッグデータの包括的概要を提供している。2つの事例研究を通じて、データライフサイクル、プライバシー、表現に関する問題に注意を払って管理された場合、ビッグデータアナリティクスが競争上の優位性と社会的利点をもたらす可能性を示している。

ABSTRACT

Steve Jobs, one of the greatest visionaries of our time was quoted in 1996 saying "a lot of times, people do not know what they want until you show it to them" [38] indicating he advocated products to be developed based on human intuition rather than research. With the advancements of mobile devices, social networks and the Internet of Things, enormous amounts of complex data, both structured and unstructured are being captured in hope to allow organizations to make better business decisions as data is now vital for an organizations success. These enormous amounts of data are referred to as Big Data, which enables a competitive advantage over rivals when processed and analyzed appropriately. However Big Data Analytics has a few concerns including Management of Data-lifecycle, Privacy & Security, and Data Representation. This paper reviews the fundamental concept of Big Data, the Data Storage domain, the MapReduce programming paradigm used in processing these large datasets, and focuses on two case studies showing the effectiveness of Big Data Analytics and presents how it could be of greater good in the future if handled appropriately.

研究の動機と目的

• 現代のデータ集約システムの文脈において、ビッグデータのコアコンセプトと課題を明確化すること。
• スケーラブルなデータ処理を可能にするデータ保存とMapReduceパラダイムの役割を検討すること。
• 実世界の事例研究を通じて、ビッグデータアナリティクスの有効性を評価すること。
• データライフサイクル管理、プライバシー、データ表現といった主な懸念事項を同定すること。
• 責任ある取り扱いがなされた場合、ビッグデータがどのように広範な社会的利益をもたらすかを検討すること。

提案手法

• 論文は、データ量、速度、多様性、信頼性といった基本的なビッグデータコンセプトをレビューしている。
• 大規模な非構造的および準構造的データを処理するためのデータストレージアーキテクチャを検討している。
• MapReduceプログラミングモデルは、分散データ処理のコアパラダイムとして説明されている。
• 2つの事例研究が提示され、実世界の状況におけるビッグデータアナリティクスの実用的応用を図示している。
• データライフサイクル管理、プライバシー、データ表現は、重要な運用上の懸念事項として論じられている。
• 知識空間理論からのインサイトを統合し、ビッグデータシステムにおける一貫性の欠如や課題を枠組みで説明している。

実験結果

リサーチクエスチョン

• RQ1 ビッグデータアナリティクスは、現代の組織においてどのように競争上の優位性をもたらすことができるか？
• RQ2 ライフサイクル、プライバシー、表現といった側面を含め、大規模データを管理するうえでの主な技術的および管理的課題は何か？
• RQ3 MapReduceモデルは、分散システム全体でビッグデータを効率的に処理するためにどのように機能するか？
• RQ4 事例研究を通じて、実世界の状況でどのようにビッグデータが効果的に応用できるか？
• RQ5 社会的利点をもたらすために使用された場合、ビッグデータの倫理的およびシステム的影響は何か？

主な発見

• ビッグデータアナリティクスにより、膨大で複雑なデータセットを活用することで、組織はより良い意思決定が可能になる。
• MapReduceモデルは、分散環境における大規模データ処理のためのスケーラブルで効率的なフレームワークを提供する。
• 適切なデータライフサイクル管理は、データ品質、アクセス可能性、コスト効率を確保するために不可欠である。
• プライバシーやセキュリティ上の懸念は、ビッグデータシステムの広範かつ責任ある導入を阻害する主要な障壁のままだ。
• 事例研究は、適切に実装された場合、ビッグデータが実用的応用において測定可能な価値をもたらすことを示している。
• データ表現に関する問題、たとえば一貫性の欠如や意味の曖昧さは、分析の正確性や意思決定を損なう可能性がある。