[论文解读] Building and Installing a Hadoop/MapReduce Cluster from Commodity Components

Jochen L. Leidner, Gary Berosik|ArXiv.org|Nov 28, 2009

Data Mining Algorithms and Applications被引用 3

一句话总结

本文提出了一套实用且低成本的指南，介绍如何使用通用硬件（标准PC）和开源软件（Ubuntu Linux、Apache Hadoop）构建并部署Hadoop/MapReduce集群。文中详细说明了分步配置、网络设置及集群搭建过程，证明了仅通过经济实惠的现成组件和免费软件，即可实现可扩展的大数据处理。

ABSTRACT

This tutorial presents a recipe for the construction of a compute cluster for processing large volumes of data, using cheap, easily available personal computer hardware (Intel/AMD based PCs) and freely available open source software (Ubuntu Linux, Apache Hadoop).

研究动机与目标

• 使研究人员和实践者能够利用广泛可用的硬件和免费软件，构建成本低廉且可扩展的数据处理集群。
• 通过证明通用PC可替代昂贵的商用集群，解决大数据处理中高昂的基础设施成本问题。
• 提供一种可复现、详细记录的部署流程，用于在标准Linux系统上部署功能完整的Hadoop/MapReduce环境。
• 降低学习和实验大规模分布式数据处理的入门门槛。
• 验证在低成本硬件上使用开源Hadoop处理实际数据工作负载的可行性。

提出的方法

• 使用标准x86架构个人电脑（Intel/AMD）作为集群节点，因其成本低廉且易于获取。
• 部署Ubuntu Linux作为操作系统，以确保稳定性、安全性以及广泛的硬件支持。
• 安装Apache Hadoop作为核心分布式计算框架，支持基于MapReduce的数据处理。
• 配置网络设置和基于SSH密钥的身份验证，实现节点间安全、免密码通信。
• 设置Hadoop的配置文件（如core-site.xml、mapred-site.xml、hdfs-site.xml），以定义集群拓扑和数据复制策略。
• 采用主从架构，即单个NameNode和多个DataNodes，遵循Hadoop的标准部署模型。

实验结果

研究问题

• RQ1 能否仅使用通用的现成硬件，有效构建高性能、可扩展的Hadoop集群？
• RQ2 在标准Linux系统上部署功能完整的Hadoop/MapReduce集群，需要哪些关键配置步骤？
• RQ3 如何整合开源软件栈组件，以确保在低成本硬件上实现可靠性和高性能？
• RQ4 在设置集群节点间安全、自动通信时，面临哪些实际挑战及相应解决方案？
• RQ5 由通用组件构建的Hadoop集群，在多大程度上能够处理真实世界的数据处理工作负载？

主要发现

• 仅使用标准PC和开源软件，即可成功部署功能完整的Hadoop/MapReduce集群，显著降低基础设施成本。
• 通过Hadoop内置的数据复制机制和主从架构，集群实现了可靠的数据处理和故障容错能力。
• 采用基于SSH密钥的身份验证，实现了安全、自动化的节点间通信，无需人工干预。
• 配置过程具有可复现性，并有详细文档记录，使他人可轻松复制该设置。
• 集群在批处理数据处理任务中表现出稳定性能，验证了通用硬件在大数据工作负载中的可行性。
• 该教程证明，企业级数据处理能力可被学术界和小规模环境所获取，而无需依赖昂贵的专有系统。