[论文解读] Perform wordcount Map-Reduce Job in Single Node Apache Hadoop cluster and compress data using Lempel-Ziv-Oberhumer (LZO) algorithm

Nandan Mirajkar, Sandeep Bhujbal+1 more|arXiv (Cornell University)|Jul 5, 2013

Cloud Computing and Resource Management参考文献 1被引用 5

一句话总结

本论文通过在单节点 Apache Hadoop 集群上使用 Lempel-Ziv-Oberhumer (LZO) 压缩技术，演示了一个词频统计 Map-Reduce 作业，以减少存储开销。该研究将 LZO 压缩集成到 Hadoop 数据处理流水线中，展示了在轻量级集群环境下，不牺牲数据完整性或处理速度的前提下，显著提升了存储效率和 I/O 性能。

ABSTRACT

Applications like Yahoo, Facebook, Twitter have huge data which has to be stored and retrieved as per client access. This huge data storage requires huge database leading to increase in physical storage and becomes complex for analysis required in business growth. This storage capacity can be reduced and distributed processing of huge data can be done using Apache Hadoop which uses Map-reduce algorithm and combines the repeating data so that entire data is stored in reduced format. The paper describes performing a wordcount Map-Reduce Job in Single Node Apache Hadoop cluster and compress data using Lempel-Ziv-Oberhumer (LZO) algorithm.

研究动机与目标

• 在单节点 Hadoop 集群中实现可扩展、高效的词频统计 Map-Reduce 作业，用于教学和原型开发。
• 评估 Lempel-Ziv-Oberhumer (LZO) 压缩在 Hadoop Map-Reduce 处理过程中减小数据大小的有效性。
• 演示在 Hadoop I/O 流水线中端到端的数据压缩与解压缩，使用 LZO 提高存储和传输效率。
• 为学习 Hadoop 数据处理和压缩技术提供一个实用且可复现的轻量级环境部署方案。

提出的方法

• 使用 Hadoop 1.2.1 部署单节点 Apache Hadoop 集群，以模拟分布式计算环境。
• 使用 Hadoop 原生 Java API 实现标准的词频统计 Map-Reduce 作业，用于统计输入文本文件中的词频。
• 在 Map-Reduce 流水线的输入和输出阶段集成 LZO 压缩，利用 Hadoop 内置的 LZO 编解码器。
• 配置 Hadoop 以支持可分割的 LZO 压缩格式，从而实现对压缩输入文件的高效并行处理。
• 采用 LZO 的快速压缩与解压缩算法，在最大化存储节省的同时最小化处理开销。
• 通过将压缩流水线的输出词频结果与未压缩基线结果对比，验证了压缩流水线的正确性。

实验结果

研究问题

• RQ1 在单节点 Hadoop Map-Reduce 工作流中，LZO 压缩如何影响存储大小和 I/O 性能？
• RQ2 LZO 压缩数据是否能在 Hadoop 中高效处理，而不会牺牲作业正确性或性能？
• RQ3 LZO 压缩对单节点集群中词频统计作业的端到端执行时间有何影响？
• RQ4 LZO 编解码器的集成如何影响轻量级部署中 Hadoop 流水线的可配置性和可扩展性？

主要发现

• LZO 压缩显著减小了输入和输出数据的大小，提升了 Hadoop 集群中的存储效率。
• 压缩流水线的词频统计结果与未压缩基线结果完全一致，证实了数据完整性。
• LZO 的可分割压缩格式支持对输入文件的高效并行处理，保持了 Hadoop 的可扩展性原则。
• 将 LZO 编解码器集成到 Hadoop 流水线中过程简单，无需重大架构改动。
• 性能基准测试显示，压缩与解压缩带来的开销极小，使 LZO 适用于类似生产环境的单节点测试。