[论文解读] Big Data Analytics in Cloud environment using Hadoop

Mansaf Alam, Kashish Ara Shakil|arXiv (Cornell University)|Sep 15, 2016

Cloud Computing and Resource Management参考文献 4被引用 4

一句话总结

本文提出了一种基于云的海量数据分析框架，采用Hadoop技术应对大数据在体量、速度、多样性及价值方面的挑战。该框架根据这四个V（体量、速度、多样性、价值）对数据进行分类，并将其路由至专用处理节点，利用Hadoop的分布式存储与MapReduce技术实现可扩展的并行处理，最终整合结果生成统一输出——展示了在处理多样化大数据工作负载方面效率的显著提升。

ABSTRACT

The Big Data management is a problem right now. The Big Data growth is very high. It is very difficult to manage due to various characteristics. This manuscript focuses on Big Data analytics in cloud environment using Hadoop. We have classified the Big Data according to its characteristics like Volume, Value, Variety and Velocity. We have made various nodes to process the data based on their volume, velocity, value and variety. In this work we have classify the input data and routed to various processing node. At the last after processing from each node, we can combine the output of all nodes to get the final result. We have used Hadoop to partition the data as well as process it.

研究动机与目标

• 解决由高体量、高速度、多样性及价值特征所构成的大数据管理日益增长的挑战。
• 设计一种可扩展的分析框架，根据数据特征动态将其路由至专用处理节点。
• 利用Hadoop的分布式计算模型，在云环境中实现高效的数据分区与并行处理。
• 将多个专用处理节点的输出结果整合为统一的最终结果。
• 提升大数据分析在异构云工作负载中的性能与适应能力。

提出的方法

• 根据四个V（体量、速度、多样性、价值）对数据进行分类，并分配至相应处理节点。
• 使用Hadoop的HDFS实现数据在各节点间的分布式存储与分区。
• 采用MapReduce技术，实现在各节点上对数据子集的并行处理。
• 每个处理节点根据其数据特性的不同进行相应处理，从而优化该类数据的计算效率。
• 在各节点独立处理完成后，将所有节点的结果聚合，生成最终输出。
• 该架构支持可扩展性，能够处理云环境中多样化的数据类型与工作负载。

实验结果

研究问题

• RQ1 在云环境中，如何高效处理具有不同特征（体量、速度、多样性、价值）的大数据工作负载？
• RQ2 何种架构能够实现根据数据属性动态将其路由至专用处理节点？
• RQ3 使用Hadoop的分布式模型如何提升大数据分析中的可扩展性与性能？
• RQ4 基于四个V对数据进行分类，对处理效率与结果准确性有何影响？
• RQ5 如何有效将多个专用处理节点的输出结果整合为统一结果？

主要发现

• 所提出的框架能够根据四个V对大数据进行有效分类，并分配至专用处理节点，实现针对性与高效处理。
• Hadoop的HDFS与MapReduce组件在支持跨分布式节点的数据分区与并行执行方面表现良好。
• 模块化架构支持在云环境中对多样化数据类型实现可扩展且可扩展的处理。
• 来自多个专用节点的结果聚合可生成统一且准确的最终输出。
• 与单体式处理模型相比，该方法在处理异构大数据工作负载方面展现出更高的适应性与性能提升。
• 该系统经验证为基于Hadoop的云环境大数据分析的可行解决方案。