[论文解读] Big Data: Understanding Big Data

Kevin Taylor-Sakyi|arXiv (Cornell University)|Jan 15, 2016

Cloud Computing and Resource Management参考文献 11被引用 8

一句话总结

本文全面概述了大数据，重点关注其基础概念、数据存储挑战以及用于处理大规模数据集的MapReduce编程模型。通过两个案例研究，本文展示了大数据分析的实际价值，强调了在关注数据生命周期、隐私和表示问题的前提下，大数据管理可带来的竞争优势与社会益处。

ABSTRACT

Steve Jobs, one of the greatest visionaries of our time was quoted in 1996 saying "a lot of times, people do not know what they want until you show it to them" [38] indicating he advocated products to be developed based on human intuition rather than research. With the advancements of mobile devices, social networks and the Internet of Things, enormous amounts of complex data, both structured and unstructured are being captured in hope to allow organizations to make better business decisions as data is now vital for an organizations success. These enormous amounts of data are referred to as Big Data, which enables a competitive advantage over rivals when processed and analyzed appropriately. However Big Data Analytics has a few concerns including Management of Data-lifecycle, Privacy & Security, and Data Representation. This paper reviews the fundamental concept of Big Data, the Data Storage domain, the MapReduce programming paradigm used in processing these large datasets, and focuses on two case studies showing the effectiveness of Big Data Analytics and presents how it could be of greater good in the future if handled appropriately.

研究动机与目标

• 阐明现代数据密集型系统背景下大数据的核心概念与挑战。
• 探讨数据存储与MapReduce范式在实现可扩展数据处理中的作用。
• 通过真实案例研究评估大数据分析的有效性。
• 识别大数据系统中的关键问题，如数据生命周期管理、隐私和数据表示。
• 探讨在负责任处理的前提下，如何利用大数据为更广泛的社会福祉服务。

提出的方法

• 本文回顾了大数据的基本概念，包括数据体量、速度、多样性与真实性。
• 研究了可扩展处理非结构化与半结构化数据的存储架构。
• 解释了MapReduce编程模型作为分布式数据处理的核心范式。
• 提出了两个案例研究，以说明大数据分析在真实场景中的实际应用。
• 讨论了数据生命周期管理、隐私与数据表示作为关键的运营关注点。
• 结合知识空间理论，分析了大数据系统中不一致性和挑战的成因。

实验结果

研究问题

• RQ1 大数据分析如何为现代组织提供竞争优势？
• RQ2 在管理大规模数据时，包括生命周期、隐私与表示在内的关键技术和管理挑战是什么？
• RQ3 MapReduce模型如何实现跨分布式系统的大数据高效处理？
• RQ4 在真实场景中，大数据如何通过案例研究被有效应用？
• RQ5 当大数据用于社会福祉时，其伦理与系统性影响是什么？

主要发现

• 大数据分析通过利用庞大而复杂的数据集，使组织能够做出更优的业务决策。
• MapReduce模型为在分布式环境中处理大规模数据提供了可扩展且高效的框架。
• 适当的数据生命周期管理对于确保数据质量、可访问性与成本效益至关重要。
• 隐私与安全问题仍是大数据系统广泛且负责任采用的主要障碍。
• 案例研究证明，当正确实施时，大数据可在实际应用中带来可衡量的价值。
• 数据表示问题，包括不一致性和语义模糊性，可能损害分析准确性与决策质量。